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在 2006 年 1 月 26 日 公布 的 《国家 中 长 期 科学 和 技术 发 展 规划 纲要 (2006—2020 年 )》 
中 ， 指 出 了 信息 技术 将 继续 向 高 性 能 、 低 成 本 、 普 适 计 算 和 智能 化 等 主要 方向 发 展 ， 寻 求 新 
的 计算 与 处 理 方式 和 物理 实现 是 未 来 信息 技术 领域 面临 的 重大 挑战 。 纳 米 科 技 、 生 物 技术 与 
认 知 科学 等 多 学 科 的 交叉 融合 ， 将 促进 基于 生物 特征 的 、 以 图 像 和 自然 语言 理解 为 基础 的 
“以 人 为 中 心 ” 的 信息 技术 发 展 ， 作 为 信息 学 科 前 沿 技术 要 研究 个 性 化 的 智能 机 器 人 和 人 机 
交互 系统 。 在 国家 科技 发 展 纲 要 中 如 此 描述 信息 技术 的 发 展 方向 ， 这 表明 新 世纪 科学 发 展 的 
特征 是 对 人 的 研究 、 对 人 与 自然 和 谐 相 处 的 研究 ; 其 表现 是 纳米 -生物 -信息 - 认 知 (Nano- 
Bio-Info-Cognition, NBIC) 多 学 科 交 叉 、 多 技术 融合 研究 的 突起 ; 是 数字 人 (物理 机 器 人 与 
虚拟 软件 人 的 总 称 ， 数 字 人 与 数字 社会 的 关系 研究 ) 技术 的 趋 于 热门 化 和 普遍 化 。 

以 人 为 本 ， 以 人 与 自然 的 和 谐 相处 为 研究 目标 ; 多 学 科 交 叉 结 合 为 研究 手段 ， 以 人 工科 
学 为 主要 研究 领域 ， 将 是 未 来 若干 年 科学 技术 研究 的 主要 特征 。 

为 了 响应 执行 国家 《科技 发 展 纲要 》， 顺 应 科学 技术 潮流 ， 我们 萌生 了 编写 “人 工 心理 
与 数字 人 技术 丛书 ”的 想法 ， 和 希望 能 够 对 国家 的 科技 进步 有 所 贡献 。 

“人 工 心 理 与 数字 人 技术 丛书 ” 选 题 主要 包括 以 下 范围 (FARTRARE 

1) NBIC 技术 ; 

2) 广义 人 工 智能 技术 ; 

3) 生物 特征 识别 技术 ; 

4) 虚拟 现实 技术 ; 

5) 机 器 人 技术 ; 

6) 虚拟 人 技术 ; 

7) 人 机 交互 技术 ; 

8) 普 适 计算 。 

“丛书 ”的 选 题 是 开放 的 ， 我 们 拱 切 希望 国内 外 同行 专家 学 者 一 起 来 撰写 此 领域 的 学 术 
著作 ， 为 中 华 民 族 的 科学 技术 事业 共同 努力 。 

本 丛书 有 如 下 特色 : 

1) 本 丛书 主要 是 前 沿 技术 专题 论著 ， 选 题 内 容 新 颖 ; 

2) 选 题 主要 是 前 沿 技术 ， 重 点 在 于 紧 跟 世界 科技 发 展 新 趋势 ; 

3) 内 容 深 入 浅 出 ， 便 于 自学 。 

本 丛书 以 科研 人 员 及 大 专 院 校 师 生 为 主要 读者 ， 也 可 供 工程 技术 人 员 学 习 前 沿 技术 时 作 
为 参考 。 
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随 着 计算 机 科学 、 脑 科学 、 心 理学 、 认 知 科 学 的 莲 拖 发 展 ， 以 及 人 们 日 益 增长 的 物质 文 
化 生活 需求 ， 越 来 越 多 的 交叉 学 科 引 起 了 科研 工作 者 的 重视 。 特 别 是 在 2005 年 国务 院 发 布 
了 《国家 中 长 期 科学 和 技术 发 展 规划 纲要 (2006—2020 年 )》， 强 调 “ 以 人 为 中 心 ” 的 信息 
技术 发 展 需要 ， 自 此 ， 大 量 科研 工作 者 便 投 身 到 人 工 心理 、 情 感 机 器 人 以 及 虚拟 现实 的 交叉 
合作 领域 之 中 。 针 对 以 上 学 科 发 展 需求 ， 本 书 较 为 全 面 地 介绍 了 情感 机 器 人 的 基本 概念 、 主 
要 内 容 和 应 用 领域 ， 并 对 其 研究 方法 和 相关 技术 进行 了 讨论 。 以 国内 外 研究 发 展 前 言 为 基 
础 ， 重 点 探讨 了 情感 机 器 人 的 总 体 体系 结构 及 相关 的 软 硬 件 设计 ， 并 给 出 智能 家 居 、 虚 拟 管 
家 系统 、 健 康 数据 库 系 统 和 服务 机 器 人 的 具体 应 用 实例 。 

本 书 的 研究 内 容 具 有 典型 的 交叉 性 ， 涉 及 心理 学 、 认 知 科学 、 智 能 科学 、 自 动 控制 、 计 
算 机 智能 、 机 械 设计 等 多 个 学 科 领 域 。 全 书 共 分 11 章 。 第 1 章 介绍 了 机 器 人 的 起 源 、 发 展 
研究 历程 及 其 相关 理论 和 关键 技术 ; 第 2 章 介 绍 了 机 器 头 及 身躯 的 设计 与 实现 技术 ; 第 3、 
4 章 介绍 了 机 器 人 的 表情 控制 模式 和 电 控 设计 ; 第 5 章 ~ 第 10 章 探讨 了 与 情感 机 器 人 相关 
的 多 种 软件 技术 及 其 相关 的 智能 技术 ; 第 11 章 分 析 了 情感 机 器 人 应 用 的 若干 实例 。 

本 书 的 学 术 思 想 较为 先进 ， 内 容 新 颖 ， 材 料 丰 富 ， 理 论 与 实际 应 用 紧密 联系 ， 结 构 基 本 
合理 ， 从 基础 理论 与 技术 向 应 用 方法 逐步 深入 ， 具 有 一 定 的 理论 价值 与 实际 应 用 意义 。 读 者 
既 可 以 从 中 把 握 本 领域 的 前 沿 进展 ， 也 可 以 选择 需要 的 研究 方向 进行 深入 学 习 。 

在 此 感谢 北京 科技 大 学 提供 的 科研 和 工作 条 件 ， 使 我 们 顺利 地 完成 了 其 中 的 科研 工作 。 
REEERE, KR, EM, ASR. ES. BR. WR, SR. KE, KE, 
贺 杰 、 陈 丽 阳 、 胡 雪 、 全 力 、 余 玲玲 等 研究 生 参 与 编著 本 书 并 为 本 书 贡 献 了 重要 的 研究 
成 果 。 

感谢 国家 自然 基金 (课题 编号 ; 61170115、61170117、61105120)、 复 杂 系 统管 理 与 控 
制 国家 重点 实验 室 开放 课题 (课题 编号 : 20110108) 、 北 京 科技 大 学 “十 二 五 ”规划 教材 项 
E (项 目 编号 : JCYB2012045) 等 的 支持 和 资助 。 

本 书 内 容 涉及 多 个 学 科 前 沿 ， 知 识 面 较为 广泛 ， 作 者 的 认识 领悟 能 力 有 限 ， 书 中 有 些 观 
点 和 见解 难免 有 不 受 之 处 ， 敬 请 各 位 专家 及 广大 读者 给 予 批评 指正 。 
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思考 题 





3.3 ”服务 机 器 人 的 功能 模块 说 明 … 


Pl 绪 论 


人 工 情感 ( Artificial Emotion, AE) 是 指 以 人 类 学 、 心 理学 、 脑 科学 、 认 知 科学 、 信 息 
F, ATRE (Artificial Intelligence, Al) 等 学 科 为 理论 基础 ， 利 用 信息 科学 的 手段 对 人 
类 情感 过 程 进行 模拟 、 识 别 和 理解 ， 使 机 器 能 够 产生 类 人 情感 ， 并 与 人 类 进行 自然 和 谐 的 人 
机 交互 的 研究 领域 。 因 此 ， 我 们 可 以 将 具有 人 工 情 感 的 机 器 人 称 为 情感 机 器 人 。 作 为 机 器 人 
人 研究 领域 的 新 兴 热 点 ,情感 机 器 人 (Emotional Robot) 既是 人 工 情感 的 重要 研究 和 应 用 对 
象 ， 也 是 研究 开发 人 工人 情感 的 高 效 实验 和 演示 平台 。 

研究 情感 机 器 人 的 价值 功能 具体 体现 在 界面 友好 性 、 智 能 效率 性 、 行 为 灵活 性 、 决 策 自 
主 性 、 思 维 创造 性 和 人 际 交 往 性 等 方面 。 同 时 ,情感 机 右 人 的 研究 也 具有 较 大 的 社会 影响 。 
如 在 经 济 结构 的 调整 方面 ， 当 情感 机 器 人 能 够 参与 社会 事务 和 人 际 交往 以 后 ， 就 会 在 越 来 越 
多 的 社会 管理 领域 、 生 产 领 域 和 生活 服务 领域 取代 人 类 ， 成 为 一 支 日 趋 庞大 的 “劳动 主力 
军 ”， 从 而 机 器 人 的 机 体制 造 厂 、 软 件 开发 公司 、 程 序 调整 中 心 、 医 院 、 美 容 店 、 餐 馆 、 俱 
乐 部 、 学 校 、 托 儿 所 、 职 介 所 等 将 会 迅速 发 展 起 来 ， 社 会 生产 结构 和 经 济 结构 将 会 出 现 重 大 
调整 。 此 外 ， 人 情感 机 器 人 的 发 展 对 伦理 观念 的 变迁 、 生 活 方式 的 变更 和 人 机 一 体 化 的 发 展 都 
有 着 重大 影响 。 

目前 ， 有 关 情 感 机 器 人 的 研究 已 成 为 机 需 人 研究 的 重点 方向 之 一 ， 在 国内 外 众多 学 术 网 
站 以 及 图 书 中 均 能 查 到 相关 参考 资料 ， 有 兴趣 的 读者 可 以 从 以 下 提示 或 链接 中 找到 更 多 的 信 
息 与 资料 。 

国外 相关 系列 图 书 : 

令 美国 麻 省 理工 学 院 Minsky 教授 的 专著 《The Society of Mind ( 意识 社会 ) 》; 

o 美国 MIT 媒体 实验 室 R. Picard 教授 的 专著 《Affective Computing (情感 计算 ) 》; 

@ Tom M. Mitchell 编写 的 《Machine Learning (HL#82#-J )) ; 

@ H A. Ortony, G. Clore, A. Collins 编著 的 《情感 的 认 知 结构 》; 

@ Paul Ekman 的 《Telling Lies) ; 

© 办 联 教育 部 批准 的 心理 学 教科 书 《 普 通 心 理学 》， 由 彼得 罗 夫 斯 基 编 著 。 

内 相关 系列 图 书 : 

@ 北京 科技 大 学 王 志 和 良 教授 出 版 的 《人 工 心理 》、《 人 工 情感 》 和 《人 脸 工 程 学》 等 人 
工 心理 与 数字 人 技术 丛书 ; 

o 史 忠 植 教授 编写 的 《人 工 智能 》; 

令 心理 学 家 曹 日 昌 编 写 的 《普通 心理 学 》 等 。 

相关 的 网 站 或 网 页 : 

令 MIT 媒体 实验 室 网 站 : http: //www. media. mit. edu/; 

令 FX Kismet 的 相关 资料 可 以 在 MIT 的 该 项 目 网 站 上 查 到 : http: //www. ai. mit. edu/ 
projects/ humanoid- robotics- group/ kismet/ kismet. html; 


令 史 忠 植 研究 员 的 个 人 网 址 : http: //www. intsci. ac. cn/shizz/; 




































































@ Tom M. Mitchell 的 个 人 网 址 : http: //www. cs. cmu. edu/ ~ tom/; 

© 提出 FACS 理论 的 Paul Ekman 的 个 人 网 址 : http: //www. paulekman. com/ 以 及 《 面 
部 动作 编码 系统 使 用 手册 》 的 网 址 : http: //www. face-and- emotion. com/dataface/facs/ 
description. jsp 等 。 


1.1 机 器 人 的 起 源 与 发 展 史 


11.1 机 器 人 的 起 源 


机 器 人 的 历史 可 以 追溯 到 我 国 的 西周 时 期 ， 一 名 叫做 优 师 的 能 工 巧 匠 制造 了 一 个 能 歌 善 
舞 的 偶 人 ， 这 是 有 据 可 查 的 第 一 个 “机 器 人 ”。 在 1800 年 前 的 汉 朝 ， 张 衡 造 出 了 举世 闻名 
的 地 动 仪 和 计 里 喜 车 。 在 三 国 时 期 的 诸 韶 亮 发 明了 木 牛 流 马 ， 用 来 运送 粮草 。 在 国外 ， 公 元 
前 2 世纪 亚历山大 时 期 ， 古 希腊 人 制造 出 了 “自动 机 ” UZA, kK, BAR AAA 
的 会 动 的 雕像 。 这 些 都 可 以 看 成 是 广义 上 的 机 器 人 。 

1920 年 ， 一 名 捷克 作家 发 表 了 一 部 名 叫 《 风 萨 姆 的 万 能 机 器 人 》 的 剧本 ， 剧 本 中 氢 述 
了 一 个 叫 罗 萨 姆 的 公司 把 机 器 人 作为 人 类 生产 的 工业 品 推 向 市 场 ， 让 它 充当 劳动 力 代 替 人 类 
劳动 的 故事 ， 引 起 了 人 们 的 广泛 关注 。 后 来 ， 这 个 故事 就 被 当 作 为 机 器 人 在 科幻 和 文学 作品 
中 的 起 源 。 但 真正 机 器 人 的 出 现 ， 则 是 在 1959 年 ， 当 时 美国 人 英 格 伯 格 和 德 沃 尔 制 造 出 了 
世界 上 第 一 台 工 业 机 吉 人 ， 标 志 着 机 器 人 的 正式 诞生 。 

英 格 伯 格 和 德 沃 尔 供职 于 同一 家 汽车 公司 ， 他 们 认为 ， 汽 车 工业 最 适合 于 机 器 人 干 活 ， 
这 样 不 仅 可 以 替代 工人 简单 重复 的 劳动 ， 更 重要 的 是 ， 他 们 不 需要 吃饭 ， 不 知 疲倦 ， 不 需要 
报酬 ， 而 且 始 终 任劳任怨 。 于 是 ， 他 们 分 工 进行 研制 ， 由 英 格 伯 格 负责 设计 机 器 人 的 
“ 手 ”“ 脚 ”“ 身 体 ”， 德 沃 尔 设计 “头脑 ” “神经 系统 ”。 这 人 台 机 器 人 研制 出 来 后 ， 只 
手臂 功能 与 人 相似 ， 外 形 像 坦克 的 炮塔 ， 基 座 上 有 一 个 大 机 械 臂 ， 大 臂 上 又 伸 出 一 个 可 以 伸 
缩 转动 的 小 机 械 臂 ， 能 够 代替 人 类 做 一 些 如 抓 放 零件 的 简单 工作 。 它 的 诞生 ， 开 创 了 机 器 人 
研究 的 新 纪元 。 

此 后 ， 精 明 的 英 格 伯 格 和 德 沃 尔 创 办 了 世界 上 第 一 家 机 器 人 制造 工厂 ， 并 生产 出 一 批 名 
叫 “ 尤 尼 梅 特 (UNIMATE ) ”的 工业 机 器 人 ， 从 而 把 科幻 剧本 的 罗 萨 姆 万 能 机 器 人 公司 从 
虚幻 变 成 现实 ， 他 们 也 因此 获得 “世界 工业 机 器 人 之 父 ” 的 殊 琳 。1984 年 ， 当 英 格 伯 格 离 
开 从 事 了 20 多 年 研究 的 机 器 人 公司 时 ， 他 说 ， 如 有 可 能 ， 他 还 要 改造 他 的 “ 尤 尼 梅 特 ” 机 
器 人 ， 使 它们 能 够 擦 地 板 、 做 饭 ， 走 到 门 外 去 洗刷 汽车 和 进行 安全 检查 等 。 

40 年 过 去 了 ， 现 在 全 世界 已 装备 了 90 余 万 台 工业 机 器 人 ， 种 类 达 数 十 种 ， 它 们 在 许多 
领域 得 到 了 广泛 的 应 用 ， 为 人 类 的 生产 和 生活 带 来 了 极 大 的 方便 。 

据 调 查 ， 机 器 人 从 1981 年 到 2000 年 间 给 美国 创造 了 6000 亿美 元 的 财富 。 机 器 人 专家 
美国 麻 省 理工 学 院 教授 约翰 菲尼克斯 惊 呼 :“21 世纪 人 类 将 真正 进入 机 器 人 时 代 ， 人 类 创 
造 的 每 一 份 财富 都 将 包含 着 机 器 人 的 功劳 1” 


1.1.2 机 器 人 的 发 展 史 


直到 1959 年 美国 的 英 格 伯 格 和 德 沃 尔 制造 出 世界 上 第 一 台 工 业 机 器 人 ， 现 代 机 器 人 的 
历史 才 真 正 开 始 。 
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英 格 伯 格 在 大 学 攻读 伺服 理论 ， 这 是 一 种 研究 运动 机 构 如 何 才 能 更 好 地 跟踪 控制 信号 的 
理论 。 德 沃 尔 曾 于 1946 年 发 明了 一 种 系统 ， 可 以 “重演 ”所 记录 的 机 器 的 运动 。1954 年 ， 
德 沃 尔 又 获得 可 编程 机 械 手 专利 ， 这 种 机 械 手 臂 按 程序 进行 工作 ， 可 以 根据 不 同 的 工作 需要 
编制 不 同 的 程序 ， 具 有 和 良好 的 通用 性 和 灵活 性 ， 英 格 伯 格 和 德 沃 尔 都 在 研究 机 器 人 ， 认 为 汽 
车 工业 最 适 于 用 机 器 人 干 活 ， 因 为 是 用 重型 机 器 进行 工作 ， 且 生产 过 程 较为 固定 。 

1959 年 ， 英 格 伯 格 和 德 沃 尔 联 手 制造 出 第 一 台 工 业 机 器 人 。 由 英 格 伯 格 负 责 设 计 机 融 
人 的 “ 手 ”、“ 脚 "、“ 身 体 ”， 即 机 器 人 的 机 械 部 分 和 完成 操作 部 分 ， 由 德 沃 尔 设计 机 器 人 
的 “头脑 "、“ 神 经 系统 ”、“ 肌 肉 系统 ”， 即 机 器 人 的 控制 装置 和 了 驱动 装置 。 它 成 为 世界 上 
第 一 台 真 正 的 实用 工业 机 器 人 。 

这 种 机 器 人 外 形 有 点 像 坦 克 炮 塔 ， 
基 座 上 有 一 个 大 机 械 辟 ， 大 臂 可 绕 轴 在 
基 座 上 转动 ， 大 臂 上 又 伸 出 一 个 小 机 械 
臂 ， 它 相对 大 臂 可 以 伸 出 或 缩 回 。 小 豆 ”本 
顶 有 一 个 脑子 ， 可 绕 小 臂 转动 ， 进 行 俯 
仰 和 侧 播 。 腕 子 前 头 是 手 ， 即 操作 器 。 
这 个 机 器 人 的 功能 和 人 的 手臂 功能 相似 ， 
如 图 1-1 所 示 。 

它 成 为 世界 上 第 一 台 真 正 的 实用 工 
业 机 器 人 。 此 后 英 格 伯 格 和 德 沃 尔 成 立 -车 
了 “Unimation” 公 司 ， 兴 办 了 世界 上 第 图 1-1 世界 上 第 一 台 工 业 机 器 人 “ 尤 尼 梅 特 ” 
一 家 机 器 人 制造 工厂 ， 第 一 批 工业 机 器 正在 生产 线 上 工作 
人 被 称 为 “ 尤 尼 梅 特 (UNIMATE )”， 意 
思 是 “万 能 自动 " ， 他 们 也 因此 被 称 为 机 器 人 之 父 。1962 年 美国 机 械 与 铸造 公司 也 制造 出 工 
业 机 器 人 ， 称 为 “ 沃 尔 萨 特 兰 (VERSTRAN)”， 意 思 是 “万 能 搬 动 ”。“ 尤 尼 梅 特 ” 和 “ 沃 
尔 萨 特 兰 ”就 成 为 世界 上 最 早 的 、 至 今 仍 在 使 用 的 工业 机 器 人 。 

机 器 人 的 发 展 史 主要 分 为 三 大 阶段 ， 如 图 1-2 所 示 。 











a) b) 
图 1-2 三 代 机 器 人 示例 
a) 第 一 代 机 械 辟 b) 第 二 代 机 器 人 o) 第 三 代 机 器 人 








1. 第 一 代 机 器 人 

第 一 代 是 示 教 再 现 型 机 器 人 :“ 尤 尼 梅 特 ” 和 “ 沃 尔 萨 特 兰 ”这 两 种 最 早 的 工业 机 器 人 
是 示 教 再 现 型 机 器 人 的 典型 代表 。 它 由 人 操纵 机 械 手 做 一 遍 应 当 完 成 的 动作 或 通过 控制 器 发 
出 指令 让 机 械 手 臂 动作 ， 在 动作 过 程 中 机 器 人 会 自动 将 这 一 过 程 存 人 记忆 装置 。 当 机 器 人 工 
作 时 ， 能 再 现 人 教 给 它 的 动作 ， 并 能 自动 重复 地 执行 。 这 类 机 器 人 不 具有 外 界 信 息 的 反馈 能 
力 ， 很 难 适应 变化 的 环境 。 英 格 伯 格 和 德 沃 尔 制造 的 工业 机 器 人 是 第 一 代 机 器 人 ， 属 于 示 教 
再 现 型 ， 即 人 手 把 着 机 械 手 ， 把 应 当 完 成 的 任务 做 一 遍 ， 或 者 人 用 “ 示 教 控制 盒 ”发 出 指 
令 ， 让 机 器 人 的 机 械 手 臂 运动 ， 一 步 一 步 完成 它 应 当 完 成 的 各 个 动作 。 

2. 第 二 代 机 器 人 

第 二 代 是 有 感觉 的 机 器 人 : 它们 对 外 界 环境 有 一 定 感知 能 力 ， 并 具有 上 听觉、 视觉、 触觉 
Soe, PLAT HEN, HRS (传感器 ) 获得 的 信息 ， 灵 活 调整 自己 的 工作 状态 ， 
保证 在 适应 环境 的 情况 下 完成 工作 。 如 有 触觉 的 机 械 手 可 轻松 自如 地 抓 取 鸡 蛋 ， 具 有 嗅觉 的 
机 器 人 能 分 辨 出 不 同 饮料 和 酒 类 。 

3. 第 三 代 机 器 人 

第 三 代 机 器 人 是 智能 机 器 人 ， 它 不 仅 具 有 感觉 能 力 ， 而且 还 具有 独立 判断 和 行动 的 能 
Fi, 并 具有 记忆 、 推 理 和 决策 的 能 力 ， 能 够 完成 更 加 复杂 的 动作 。 中 央 电 脑 控制 手臂 和 行走 
装置 ， 使 机 器 人 的 手 完成 作业 ， 脚 完成 移动 ， 机 器 人 能 够 用 自然 语言 与 人 对 话 。 智 能 机 器 人 
的 “智能 ”特征 就 在 于 它 具 有 与 外 部 世界 一 一 对 象 、 环 境 和 人 相 适 应 、 相 协调 的 工作 机 能 。 
从 控制 方式 看 ， 智 能 机 器 人 不 同 于 工业 机 器 人 的 “ 示 教 、 再 现 ”， 不 同 于 遥控 机 器 人 的 
“ 主 一 从 操纵 ”， 而 是 以 一 种 “ 认 知 一 适应 ”的 方式 自律 地 进行 操作 。 
智能 机 器 人 在 发 生 故 障 时 ， 通 过 自我 诊断 装置 能 自我 诊断 出 故障 部 位 ， 并 能 自我 修复 。 
如 今 ， 智 能 机 器 人 的 应 用 范围 大 大 地 扩展 了 ， 除 工农 业 生 产 外 ， 机 器 人 应 用 到 各 行 各 业 ， 机 
器 人 已 具备 了 人 类 的 特点 。 机 器 人 向 着 智能 化 、 拟 人 化 方向 发 展 的 道路 ， 是 没有 止境 的 。 


1.2 ”情感 机 器 人 研究 历程 






























































情感 机 器 人 (Emotional Robotics) 是 指 用 人 工 的 方法 和 技术 ， 模仿、 延伸 和 扩展 人 的 情 
感 ， 使 机 器 具有 识别 、 理 解 和 表达 情感 的 能 力 。 具 有 情感 的 机 器 人 必须 具有 智能 化 的 特点 ， 
那 就 需要 具备 以 下 几 种 特殊 的 能 力 : 即 学 习 知 识 的 能 力 ; 使 用 知识 的 能 力 ; 运算 知识 的 能 
力 。 情 感 机 器 人 是 近年 来 机 器 人 研究 领域 兴起 的 一 个 新 的 研究 热点 。 情 感 机 器 人 既是 人 工 心 
理 和 人 工 情感 的 重要 研究 和 应 用 对 象 ， 也 是 研究 开发 人 工 情感 的 高 效 实 验 和 演示 平台 。 人 情感 
机 器 人 的 研究 方向 主要 可 以 分 为 两 大 类 ， 一 类 是 研究 具有 情感 的 物理 机 融 人 ， 一 类 是 研究 具 
有 情感 的 虚拟 机 器 人 。 这 两 种 研究 方向 的 理论 与 技术 相辅相成 ， 共 同 促进 情感 机 器 人 向 着 
广 、 深 、 远 的 方向 发 展 。 


1.2.1 物理 机 器 人 的 发 展现 状 


世界 各 国 的 实验 室 都 在 这 一 领域 展开 人 研究， 如 日 内 瓦 大 学 Klaus Scherer 领导 的 情感 研究 
实验 室 、 布 鲁 塞 尔 自 由 大 学 D. Canamero 领导 的 情感 机 器 人 研究 小 组 及 英国 伯 明 验 大 学 
A. Sloman 领导 的 Cognition and Affect Project ( 认 知 与 情感 研究 项 目 ) 等 。 我国 对 这 一 领域 的 
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研究 始 于 20 世纪 90 年 代 ， 主 要 针对 人 工 情感 单元 理论 与 技术 实现 开展 研究 ， 如 多 功能 感知 
机 器 人 ， 主 要 包括 表情 识别 、 人 脸 识别 、 人 脸 检 测 与 跟踪 、 手 语 识别 、 表 情 合成 、 唇 读 等 基 
于 人 工 情感 的 机 器 人 控制 体系 结构 的 研究 。 图 1- 3 所 示 为 对 国内 外 具有 情感 的 物理 机 器 人 的 
研究 之 路 的 梳理 。 
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图 1-3 国内 外 表情 机 器 人 的 发 展 过 程 





从 图 1-3 可 以 发 现 , 日本、 美国 的 大 学 和 研究 所 的 研究 开展 较 早 ， 且 多 集中 在 早稻 田 大 
学 和 麻 省 理工 大 学 ， 发 展 较 快 ; 德国 与 英国 近期 也 开始 进行 相关 人 研究 ; RE AH 2002 年 开始 
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发 展 对 表情 机 器 人 的 研究 。 目 前 国内 比较 先进 的 机 器 人 有 哈尔滨 工业 大 学 研制 的 “ 百 智 星 ” 
幼教 机 器 人 ， 中 国 科学 院 自动 化 研究 所 研制 的 “ 童 童 ” 机 器 人 ， 北 京 科技 大 学 研制 的 情感 
机 器 人 头 部 。 下 面 对 几 种 情感 机 器 人 进行 简单 介绍 。 

日 本 早稻 田 大 学 理工 部 高 西 研究 室 于 1992 年 开始 研究 仿 人 头 部 机 器 人 ， 从 1996 年 起 开始 
开发 名 为 WE 系列 的 仿 人 头 部 机 器 人 ， 至 今 已 研制 出 了 四 个 版 本 的 WE 系列 仿 人 头 部 机 器 人 ， 
并 以 多 种 传感器 作为 感觉 器 官 。 例 如 ，WE-4 型 机 器 人 在 眼球 中 安装 彩色 CCD (Charge Cou- 
pled Device ， 电 耦合 元 件 ) 摄像 头 采 集 视觉 信息 并 进行 颜色 识别 ， 在 耳 部 安装 微型 麦克 风 ， 采 
集 声音 信息 ; 在 机 器 人 的 面颊 、 前 额 、 和 头 部 两 侧 安装 力 敏 电阻 作为 触觉 器 官 ， 识 别 不 同 触觉 
行为 (如 推 、 打 和 抚摸 ) ; 采用 热 敏 电阻 传感器 感受 温度 ; 用 4 个 半导体 气体 传感器 作为 嗅觉 
器 官 ， 识 别 酒精 、 氮 水 和 香烟 的 气味 ， 可 以 说 WE-4 是 目前 感官 器 官 最 为 齐全 的 机 器 人 。 

美国 麻 省 理工 学 院 人 工 智 能 实验 室 的 计算 机 专家 辛 西 布雷 齐 尔 (Cynthia Breazeal ) 
从 婴儿 与 看 护 者 之 间 的 交流 方式 中 得 到 启发 ， 开 发 了 一 个 名 为 “Kismet” 的 婴儿 机 器 人 。 目 
前 它 只 有 头 部 与 计算 机 相连 ， 面 部 特征 具有 15 ARE, SETAE, FÆ, IRER, IRE, 
嘴唇 等 部 位 ， 每 只 有 眼睛 装 有 一 个 5. 6mm 焦距 的 彩色 CCD 摄像 机 ， 耳 部 装 有 微型 传声器 ， 使 
它 具 有 视觉 和 听觉 。“Kismet” 具有 与 人 类 婴儿 相似 的 行为 方式 和 能 力 ， 如 模仿 父母 与 孩子 
之 间 表 达 情 感 的 反馈 方式 ， 婴 儿 向 父母 表达 需求 和 愿望 的 方式 ， 以 及 婴儿 自我 学 习 与 人 和 环 
境 交 流 的 方式 等 。 

2002 年 在 日 本 横滨 举行 的 机 器 人 展会 上 ， 东 京 理 科大 学 的 展台 上 坐 着 一 个 身 穿 白色 连 
衣 裙 的 “姑娘 ”， 长 头发 、 大 眼睛 。 她 就 是 小 林 宽 司 教授 研制 的 仿 人 机 器 人 SAYA ( 见 
图 1-4) ， 它 能 扫描 注视 者 的 表情 ， 比 较 其 眼 、 口 、 鼻 、 丑 的 距离 ， 与 记忆 库 中 自然 表情 的 
面孔 对 比 ， 识 别 出 该 表情 所 表达 的 某 种 情绪 ， 然 后 由 人 工 肌 肉 带 动 并 协调 18 个 面部 关键 点 
的 运动 ， 展 示 出 相应 的 喜悦 、 生 气 、 人 惊讶 等 逼真 表情 。 这 项 计划 通过 优化 机 器 人 的 表情 ,来 
改善 人 与 机 器 人 的 关系 。 人 们 尤其 是 老人 不 接受 机 器 人 ， 机 器 人 就 无 法 为 人 类 服务 ， 因 此 ， 
我 们 需要 尝试 制造 能 被 老人 接受 的 机 器 人 。SAYA 目前 还 不 能 行动 ， 只 是 面部 机 器 人 ， 但 她 
面部 五 官 齐全 ， 有 皮肤 ， 与 真人 十 分 接近 。 小 林 宽 司 教授 的 下 一 个 目标 是 让 机 器 人 能 够 开口 
说 话 ， 当 前 他 已 开始 着 手 研发 有 舌头 的 说 话机 器 人 。 相 信 在 不 久 的 将 来 ， 感 情 丰 富 、 行 动 自 
如 的 SAYA 一 定 会 走 到 我 们 面前 。 

































































图 1-4 ”东京 理科 大 学 的 SAYA 机 器 人 
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另外 ， 东 京 理 科大 学 还 研制 了 机 器 人 AH I ( 见 图 1-5)。 其 外 观 上 是 一 个 女性 的 头 部 ， 
装 有 假牙 、 硅 橡胶 皮肤 和 假发 ， 形 象 与 人 类 十 分 接近 。AHI 由 微型 气压 柔性 驱动 器 驱动 面部 
18 个 控制 点 ， 可 以 实现 人 的 喜 、 怒 、 厌 、 匡 、 恐 、 惊 六 种 基本 表情 。 塑 料 的 眼球 后 面 装 有 
18mm 的 CCD 微型 摄像 机 ， 用 来 采集 目标 面部 图 像 数 据 ， 并 由 大 脑 的 分 层 神 经 网 络 进行 面部 
表情 的 实时 识别 ， 可 以 识别 人 的 喜 、 奴 、 厌 、 悲 、 恐 、 惊 六 种 基本 表情 。SAYA M AH IW 
个 机 器 人 都 采用 基于 Ekman 和 Friesen 的 分 析 方 法 ， 把 六 种 基本 表情 分 解 成 14 个 面部 运动 单 
元 (AU) 的 组 合 ， 通 过 对 面部 18 个 特征 点 的 控制 ， 实 现 各 运动 单元 ， 进 而 组 合 出 各 种 
表情 。 

FH RIKEN 脑 科 学 学 会 实验 室 、 南 加 利 福 尼 亚 大 学 计算 机 学 习 及 电机 控制 实验 室 以 及 
SARCOS 公司 合作 开发 的 名 为 MAVeric 的 机 器 人 头 部 ( 见 图 1-6), 具有 7 个 自由 度 。 其 运 
动 是 通过 在 计算 机 上 编写 软件 程序 来 实时 控制 的 。MAVeric 可 以 在 发 出 声音 的 同时 伴随 产生 
嘴 部 运动 ， 该 运动 通过 计算 机 传输 的 指令 经 RS232 上 串 行 接 口 输送 到 一 个 串 行 控制 电路 板 ， 
由 VB 程序 编写 的 活动 窗口 控制 。 























图 1-$ 东京 理科 大 学 的 AH IHLA 图 1-6 MAV eric 机 器 人 头 部 











以 上 是 几 个 具有 代表 性 的 〈 仿 人 ) 头 部 机 器 人 研究 成 果 。 此 外 ， 还 有 美国 德州 大 学 达 
拉 斯 分 校 的 博士 生 大 卫 . WRH “K-bot” SKEBALATA, AS ae ABET OEE EN A AY 
儿 机 器 人 “Infanoid”， 美 国 卡 内 基 : 梅 隆 大 学 开发 的 “Beardsley”， 日 本 早稻 田 大 学 开发 的 
“ISHA”、 中 国 香港 模型 屋 公司 制造 的 头 部 机 器 人 人， 美国 加 州 大 学 研制 的 机 器 人 头 部 ， 德 国 
帕 德 伯 因 大 学 C 实验 室 的 Mexi, 美国 卡 内 基 梅 隆 大 学 的 4 目 头 部 机 器 人 ，MarkMedonis 的 
MAXWELL 等 等 。 日 本 本 田 公司 的 “ 阿 西 莫 (Asimo)”，NEC 公司 开发 的 伴侣 机 器 人 “PaP- 
eRo”，Sony 公司 的 “SKR24X” 机 器 人 ,日 本 仿 人 机 器 人 财团 的 “小 IF”， 以 及 世嘉 玩具 公 
司 的 人 形 机 器 人 玩具 “世博 (C2BOT)” 等 ， 也 具有 一 定 的 表情 识别 和 通过 表情 表达 情感 的 
功能 。 

我 国 对 这 一 领域 的 研究 始 于 20 世纪 90 年 代 ， 大 部 分 研究 工作 是 针对 人 工 情感 单元 理论 与 
技术 实现 的 。 中 国 工程 院 院 士 葡 鹤 泉 教 授 也 曾 在 1996 年 研制 出 一 款 具 有 讲演 技能 的 仿 人 演讲 
机 器 人 ， 该 机 器 人 头 部 兼 具 眼球 运动 、 嘴 巴 讲话 带动 面部 肌肉 运动 等 机 能 。 哈 尔 滨 工业 大 学 类 
人 与 类 人 猿 机 器 人 研究 室 于 2004 年 在 国内 首次 研制 成 功 具 有 八 种 基本 面部 表情 (包括 自然 表 
E TO TO, WMR, AR ER, HR ZEA) 的 仿 人 头像 机 器 人 H&F ROBOT-I， 该 
机 器 人 具有 14 个 自由 度 ， 其 中 机 器 人 头 部 具有 7 个 自由 度 ， 实 现 了 对 人 体 头 部 器 官 运动 和 
基本 面部 表情 的 模仿 。 












































1.2.2 虚拟 机 器 人 的 发 展现 状 


虚拟 机 器 人 即 虚 拟人 (Virtual Human) ， 又 称 Humanoid， 与 Avatar (替身 、 化 身 ) 意 ) 
相近 ， 涵 盖 各 种 计算 机 系统 中 虚拟 的 人 类 基本 特性 ， 包 括 其 外 观 几 何 特性 、 动 作 特 性 、 行 
和 情感 特性 等 。 情 感 虚拟 人 (Affective Virtual Human) 就 是 使 虚拟 人 具有 特定 的 个 性 和 情 
交互 (情感 识别 和 表达 ) 能 力 ， 具 有 特定 的 人 工 心理 数学 模型 和 情感 识别 及 情感 表达 方式 ， 
是 人 在 计算 机 生成 空间 (虚拟 环境 ) 中 的 几何 特性 与 行为 特性 的 表示 ， 是 多 功能 感知 与 情 
感 计算 的 研究 内 容 ， 是 人 工 心理 理论 在 虚拟 现实 领域 的 具体 应 用 。 

虚拟 人 技术 有 良好 的 应 用 前 景 ， 它 一 直 是 近年 来 计算 机 领域 中 的 热点 课题 之 一 ， 已 取得 
许多 令 人 瞩目 的 成 果 ,， 图 1-7 简单 概括 了 具有 情感 的 虚拟 机 器 人 国内 外 的 发 展 历程 。 
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图 1-7 国内 外 情感 虚拟 人 发 展 过 程 











国外 一 些 发 达 国 家 对 情感 虚拟 人 的 研究 开展 较 早 ， 发 展 也 较 快 。 我 国 对 情感 虚拟 人 研究 
开始 的 时 间 虽 然 比 国外 要 晚 些 ,但 是 也 取得 了 丰硕 的 成 绩 。 本 书 将 情感 虚拟 人 技术 分 为 以 下 
=; 

1) 主要 以 实现 运动 控制 为 目标 的 情感 虚拟 人 技术 ， 如 JACK ASE, Dream Flight 和 
Marilyn Monroe, DIGuy 系统 和 JointMotion 系统 。Dream Flight 和 Marilyn Monroe RRT EE 
纪 计 算 机 拟人 技术 的 较 高 水 平 。 中 科 院 计算 技术 研究 所 数字 化 技术 研究 室 开 发 的 JointMotion 
系统 采用 的 动作 捕获 方法 控制 虚拟 人 的 动作 ， 可 以 达到 很 逼真 的 效果 ， 其 他 院 校 如 哈尔滨 工 
业 大 学 、 浙 江 大 学 、 北 京 科 技 大 学 等 在 这 方面 也 都 有 所 成 就 。 

2) 以 实现 对 话 / 聊 天 功能 为 目标 的 情感 虚拟 人 技术 ， 如 小 I 工 机器人， 它 一 经 推出 便 受到 
MSN 聊天 用 户 的 喜爱 。 

3) 以 实现 面部 表情 、 手 势 和 注视 能 力 为 目标 的 情感 虚拟 人 技术 ， 如 REA (MIT 研究 )、 
BEAT (MIT 研究 ) STEVE, MAX, MACK (MIT 研究 ) Sam (MIT WR). re MIRALab 
MEE, HPH Peter Molyneux 设计 的 虚拟 男孩 麦 洛 ， 不 仅 会 跟 用 户 对 话 ， 逐 渐 学 习 成 
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长 ， 而 且 用 户 也 能 直接 用 语音 下 达 命 令 ， 其 至 如 果 用 户 在 纸 上 写 字 然 后 用 摄像 机 来 拍 ， 麦 洛 
还 会 读 纸 上 的 字 。 从 虚拟 人 技术 发 展 的 历程 来 看 ， 这 种 和 谐 自然 的 交互 方式 已 经 成 为 未 来 研 


究 的 重要 方向 。 


1.3 ”相关 理论 及 关键 技术 





13.1 情感 计算 、 感 性 工学 及 人 工 心理 
1. 情感 计算 





学 术 界 较 早 对 情感 进行 系统 研究 的 是 美国 MIT 媒体 实验 室 的 R. Picard。1997 年 ， 


R. Picard 出 版 了 一 本 专著 一 一 《Affective Computing) , 
计算 是 与 情感 相关 、 来 源 于 情感 或 能 对 情感 施加 影响 





书 中 给 出 了 情感 计算 的 定义 ， 即 情感 
的 计算 。 








所 谓 的 情感 计算 (Affective Computing) 就 是 试图 赋予 计算 机 像 人 一 样 的 观察 、 理 解 和 








生成 各 种 情感 特征 的 能 力 。 人 情感 计算 的 研究 就 是 试图 创建 一 种 能 感知 、 识 别 和 理解 人 的 情 











感 ， 并 能 针对 人 的 ' 清 感 做 ' 智 能、 灵敏 、 友 好 反应 的 计算 系统 。 

R. Picard 将 情感 计算 的 研究 内 容 具 体 分 为 九 个 方面 :情感 机 理 、 情 感 信 息 的 获取 、 情 感 
模式 识别 、 情 感 的 建 模 与 理解 、 情 感 合成 与 表达 、 情 感 计算 的 应 用 、 和 情感 计算 机 的 接口 、 情 
感 的 传递 与 交流 、 可 穿戴 计算 机 。 目 前 的 工作 侧重 于 有 关 情 感 信息 的 获取 (如 各 类 传感器 
的 研制 ) 与 识别 。 图 1-8 所 示 为 其 领导 的 课题 组 所 研究 的 主要 内 容 。 情 感 计算 可 以 从 两 个 











方面 理解 : 一 是 基于 生理 学 的 角度 ， 通 过 各 种 测量 手 
脉搏 、 脑 电波 等 并 以 此 为 根据 来 计算 人 体 的 情感 状态 














段 检 测 人 体 的 各 种 生理 参数 ， 如 心跳 、 
; 二 是 基于 心理 学 的 角度 ， 通 过 各 种 传 








感 需 接受 并 处 理 环 境 信息 ， 并 以 此 为 根据 计算 人 造 机 器 〈 如 个 人 机 器 人 ) 所 处 的 情感 状态 
图 1-9 所 示 的 几 种 可 穿戴 迷你 传 感 咒 就 是 研究 者 们 根据 病症 引起 的 人 类 情绪 生理 信和 号 进行 监 





情感 在 机 器 
上 进行 综合 A 





mexi 


~™ 
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情 yey a 
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图 1-8 Picard 课题 组 的 研究 内 容 
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测 而 研发 出 来 的 ， 从 而 为 医生 和 患者 提供 可 靠 的 帮助 。 


Ag/AgCl Electrodes 
A, 

















图 1-9 ”基于 情感 计算 的 生理 信号 监测 器 




















近年 来 ， 和 情感 计 算 的 研究 普遍 受到 学 术 界 和 企业 界 的 关注 。 美 国人 工 智 能 学 会 的 年 会 也 
有 此 方面 的 专门 研讨 会 ， 比 如 2004 年 FLAIRS-04 的 Special Track on Computing With Emotions 
和 国际 SCI04 的 Invited Session on Emotion Processing。 美 国 和 欧洲 的 各 个 信息 技术 实验 室 正 
加 紧 对 情感 系统 的 研究 步伐 。 麻 省 理工 学 院 、 剑 桥 大 学 、 飞 利 浦 公司 等 通过 深入 研究 “ 环 
境 识别 ”“、“ 环 境 智能 ”"、“ 智 能 家 庭 ” 等 科研 项 目 来 拓展 这 一 领域 。 例 如 ， 麻 省 理工 学 院 媒 
体 实 验 室 的 情感 计算 小 组 研制 的 情感 计算 系统 ， 通 过 记录 人 面部 表情 的 摄像 机 和 连接 在 人 身 
体 上 的 生物 传感器 来 收集 数据 ， 然 后 由 一 个 “情感 助理 ”来 调节 程序 以 识别 人 的 情感 。 如 
果 你 对 电视 讲座 的 一 段 内 容 表现 出 困惑 ， 情 感 助 理会 重 放 该 片段 或 者 给 予 解释 。 麻 省 理工 学 
院 “ 氧 工程 ”的 研究 人 员 和 比利时 IMEC (Interuniversity Microelectronics Centre ， 微 电子 研究 
中 心 ) 的 一 个 工作 小 组 认为 ， 开 发 出 一 种 整合 各 种 应 用 技术 的 “瑞士 军刀 ”可 能 是 提供 移 
动情 感 计算 服务 的 关键 。 麻 省 理工 学 院 提 出 的 “和 氧 工 程 ” 就 是 一 项 由 宏基 、 诺 基 亚 、 囊 普 
和 飞利浦 等 公司 资助 的 以 人 为 中 心 的 计算 机 研究 项 目 。 该 计划 的 研究 来 源 于 四 个 方面 的 考 
WR. 首先 是 让 计算 机 帮助 人 们 提高 工作 效率 ; 其 次 是 了 解 计算 和 通信 技术 的 发 展 趋势 ， 再 次 
是 让 计算 机 为 用 户 服务 ; 最 后 是 使 计算 机 理解 人 的 需要 。 

2. 感性 工学 

日 本 在 20 世纪 70 年 代 提出 了 “感性 工学 ( Kasnei Engineer)” KWER, 但 是 关于 “ 感 
性 ”的 概念 ， 目 前 在 日 本 学 术 界 还 没有 统一 和 明确 的 定义 ,不 同 的 学 者 从 各 个 角度 给 出 了 
各 种 定义 和 描述 。 在 一 次 对 参加 该 领域 学 者 进行 的 调查 中 ， 就 “感性 是 什么 ”的 问题 ， 得 
到 了 许多 不 同 的 定义 。 下 面 主要 介绍 一 下 日 本 学 者 松山 和 隆 司 的 观点 。 

他 们 从 “感性 ”和 “知性 ”的 相互 关系 上 来 考察 “感性 ”。 他 们 认为 ， 人 类 精神 上 所 
具有 的 多 种 多 样 的 机 能 ， 概 括 地 说 可 以 分 为 “ 知 ”"“ 情 ”“ 意 ”三 个 方面 。 可 以 说 人 工 智 
能 是 从 信息 科学 的 角度 以 前 明 “ 知 ”为 目标 的 。 与 感性 关系 最 密切 的 是 “ 情 ”， 然 而 感性 并 
不 等 于 “ 情 ”。 感 性 是 人 所 具有 的 感觉 、 知 觉 的 机 能 和 特性 ， 而 “ 情 ” 是 由 此 自然 产生 的 
东西 。 

从 上 面 的 想法 出 发 ， 他 们 认为 ， 人 的 感觉 、 知 觉 机 构 具 有 两 面 性 和 二 重 构造 性 。 也 就 是 
说 ， 在 以 前 的 模式 识别 、 理 解 中 ， 是 从 “ 知 ” 的 观点 去 解析 感 党 、 知 觉 机 构 并 使 其 信息 模 
型 化 ， 开 发 构建 工程 上 的 信息 处 理 系统 (如 人 脸 识别 系统 、 语 音 识 别 系统 等 ) ， 而 感觉 、 知 
觉 机构 所 具有 的 另外 一 个 重要 的 机 能 和 特性 一 也 就 是 “感性 ”， 则 是 从 “ 情 ” 的 观点 来 看 待 















































感觉 、 知 觉 机 构 的 。 














感觉 、 知 觉 机构 具 有 两 面 性 、 二 | 
重 构造 性 的 模式 可 用 图 1-10 表示 。 图 | | 
1-10 中 从 “ 知 ” 到 “知性 ”的 识 “感性 ”的 识别 | ， | 
别 "、 从 “ 情 ”到 “* 感 性 ， 的 识别 " oy | 
的 箭头 ， 表 示 各 识别 机 构 受 到 来 自 = 
“ 知 ” 和 “ 情 ” 的 影响 而 产生 的 机 能 。 图 1-10 “知性 ”的 识别 和 “感性 ”的 识别 





日 本 东京 大 学 的 河内 教授 ， 从 神 
经 生理 学 和 病理 学 的 病例 中 发 现 了 感觉 、 知 觉 机 构 具 有 两 面 性 和 二 重 构造 性 。 他 提出 ， 在 人 
的 视觉 系统 中 ， 可 能 存在 分 别 主管 知性 识别 和 感性 识别 的 两 套 组 件 ( 系统) 。 

综合 各 方面 的 观点 ， 可 以 认为 ， 所谓 的 “感性 信息 ”就 是 与 人 的 情感 过 程 相 联 系 的 
(不 包括 情感 )、 不 具有 人 工 智 能 所 研究 的 知性 信息 的 论 理 客观 等 特性 的 、 可 通过 感知 觉 直 
接 感 受到 的 对 象 ， 与 知性 信息 所 具有 的 “客观 性 、 单 意 性 、 确 定性 、 再 现 性 ”的 特征 相对 
应 ,感性 信息 具有 “主观 性 、 多 义 性 、 不 确定 性 、 状 态 依 存 性 ”等 特征 。 而 “感性 ” 则 是 
指 通 过 表情 、 动 作 生 成 “感性 信息 ”以 及 通过 感官 接受 “感性 信息 ”的 能 力 。 感 性 信息 处 
理 主要 包括 用 工程 的 方法 ， 从 各 种 媒体 中 提取 感性 信息 以 及 感性 信息 的 表示 、 表 现 、 合 
成 等 。 

所 谓 感性 工学 ， 就 是 将 感性 与 工程 结合 起 来 的 技术 ， 是 在 感性 科学 的 基础 上 ， 通 过 分 析 
人 类 的 感性 ， 把 人 的 感性 需要 加 入 到 商品 设计 中 去 ， 是 一 门 能 给 人 类 带 来 喜悦 和 满足 的 工程 
学 商品 制造 技术 ， 感 性 工学 由 于 可 以 给 人 们 的 生活 带 来 快乐 和 和 舒适， 因此 被 称 为 “快乐 而 
舒适 ”的 科学 ， 把 基于 感性 工学 技术 生产 的 商品 称 为 “感性 商品 ”。 

随 着 经 济 的 发 展 ， 消 费 者 的 需求 水 平 不 断 提 高 。 从 商品 短缺 时 以 追求 “拥有 ”为 目标 ， 
到 物质 条 件 充足 情况 下 追求 良好 品质 为 目标 ， 再 到 以 追求 个 人 需要 为 目标 ， 现 在 已 逐渐 转变 
到 以 追求 个 人 爱好 、 体 现 “个 性 ”为 目标 。 人 们 对 商品 的 价值 观 也 从 追求 “ 重 、 厚 、 长 、 
大 ”到 追求 “ 轻 、 薄 、 短 、 小 ”， 进 而 到 追求 “美感 、 游 乐 、 感 性 创造 ”。 

随 着 科学 技术 的 发 展 ， 人 们 的 欲求 和 价值 观 产 生 相 应 变化 ， 社 会 的 生产 形态 和 产业 形态 
也 发 生 相 应 的 变化 ， 目 前 整个 社会 生产 将 以 追求 感性 为 目标 ， 以 给 人 们 带 来 喜悦 和 和 舒适 为 
目的 。 

在 日 本 ， 人 们 利用 感性 工学 理论 研究 了 多 种 实用 的 感性 工学 系统 ， 比 较 典 型 的 有 

1) HULIS 一 人 性 化 居住 环境 设计 系统 ; 

2) IKDES (Interior Kansei Design System) 乘 用 车 室内 设计 支持 系统 ; 

3) FAIMS 女 大 学 生 用 服饰 设计 系统 ; 

4) WIDIAS (Word Image Diagnosis Fuzzy Expert) 语音 感性 诊断 模糊 专家 系统 等 。 

3. 人 工 心理 

北京 科技 大 学 王 志 良 教授 于 1999 年 首次 提出 了 人 工 心理 的 概念 。 人 工 心理 主要 研究 人 
类 心理 活动 (着 重 是 人 的 情感 、 意 志 、 人 性 格 、 创 造 ) 的 全 面 人 工 机 需 实 现 。 它 以 人 工 智能 
现 有 的 理论 和 方法 为 基础 ， 是 人 工 智 能 的 继承 和 发 展 ， 是 人 工 智 能 发 展 的 高 级 阶段 ， 在 人 工 
智能 基础 上 有 着 更 广泛 的 内 容 。 人 工 心 理 是 一 门 交 义学 科 ， 其 理论 源 于 脑 科 学 、 心 理学 、 生 
理学 、 伦 理学 、 神 经 科学 、 人 脸 工 学 、 感 性 工学 、 语 言 学 、 美 学 、 法 学 、 信 息 科 学 、 计 算 机 
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科学 、 自 动 化 科学 、 人 工 智能 等 学 科 。 其 应 用 范围 主要 是 情感 机 器 人 的 技术 支持 、 拟 人 机 
械 、 人 性 化 商品 设计 、 感 性 市 场 开 发 、 人 工 心理 编程 语言 、 人 工 创造 技术 、 人 类 情感 评价 计 
算 机 系统 、 人 类 心理 数据 库 及 数学 模型 、 人 机 和 谐 环境 技术 、 人 机 和 谐 多 信道 接口 等 。 人 工 
心理 理论 具体 内 容 如 下 : 

(1) 定义 

所 谓 的 人 工 心理 研究 就 是 利用 信息 科学 的 手段 ， 对 人 的 心理 活动 (着 重 是 人 的 情感 、 
意志 、 性 格 、 创 造 ) ， 进 行 全 面 的 人 工 机 器 〈 计 算 机 、 模 型 算法 等 ) 实现 。 

(2) 研究 目标 

人 工 心理 的 研究 目标 在 于 提出 人 工 心理 的 概念 ， 利 用 人 工 智能 已 有 的 基础 (研究 成 果 、 
研究 方法 ) ， 结 合 心理 学 、 脑 科学 、 神 经 科学 、 信 息 科 学 、 计 算 机 科学 、 自 动 化 科学 的 新 理 
论 和 新 方法 ， 对 人 的 心理 活动 (尤其 是 情感 、 意 志 、 人 性 格 、 创 造 ) 进行 全 面 的 人 工 机 器 模 
拟 。 研 究 确 立 人 工 心理 的 理论 结构 体系 (目的 、 法 则 、 研 究 内 容 、 应 用 范围 、 研 究 方法 
等 ) ， 并 使 之 得 以 应 用 。 

(3) 研究 内 容 

1) 研究 建立 人 工 心理 的 理论 结构 体系 (目的 、 法 则 、 研 究 内 容 、 应 用 范围 、 研 究 方法 
等 ) 。 尤 其 是 人 工 心理 学 说 的 定义 、 研 究 规则 、 研 究 内 容 的 界定 问题 ， 使 其 研究 符合 人 类 道 
德 规范 ， 该 问题 在 人 工 智 能 领域 未 曾 涉及 。 

2) 借鉴 人 工 智 能 已 有 的 研究 成 果 ， 建 立 人 工 心理 的 理论 体系 ， 研 究 人 工 心理 与 人 工 智 
能 的 相互 关系 ， 使 二 者 相辅相成 、 互 相 促进 、 共 同 发 展 。 

3) 通过 改善 研究 法 则 ， 抑 制 不 良 情 绪 的 机 器 算法 。 

4) 人 类 心理 信息 的 数学 量化 〈 建 立 心理 模型 、 心 理 状态 评价 标准 ) 。 

5) 机 器 实现 情感 在 决策 中 的 作用 模式 ， 主 要 包括 模拟 人 脑 的 控制 模式 ， 建 立 感知 与 情 
感 决 策 行为 (人 脑 控制 模式 ) 相 结 合 的 数学 模型 。 

6) 借鉴 人 工 智 能 (计算机) 编程 语言 的 发 展 过 程 ， 探 索 人 工 心理 (计算 机 ) 编程 语言 
的 建立 方法 是 一 个 具有 挑战 性 的 课题 。 人 工 智能 编程 语言 是 以 知识 表示 和 逻辑 推理 为 特征 的 
逻辑 型 语言 ， 而 人 工 心理 编程 语言 则 是 以 联想 推理 、 混 沌 运算 、 发 散 思维 、 模 糊 归纳 为 特征 
的 联想 型 语言 。 

7) 情感 培养 的 机 器 算法 。 

8) 人 类 心理 暗示 与 作用 模式 的 建立 。 

9) 灵感 (顿悟 ) 产生 的 机 器 实现 策略 。 

在 国内 ， 基 于 人 工 心理 的 各 类 情感 模型 的 建立 是 研究 的 侧重 点 之 一 ， 见 表 1-1。 


表 1-1 基于 人 工 心理 的 情感 模型 研究 成 果 



























































分 类 作 者 研究 内 容 
7 魏 哲 华 提出 情感 炉 理 论 
林 文 永 情感 空间 模型 
建 谷 学 静 HMM 的 情感 模型 
k 越 反 向 传播 算法 的 情感 模型 
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( 续 ) 
分 类 作 者 人 研究 内 容 
刘 Jl 用 户 消费 情感 模型 
明 建 服装 选 购 心理 模型 
王 婷 婷 色彩 心理 模型 
杨 国 亮 反映 人 类 情感 变化 规律 的 情感 计算 模型 
本 解 迎 刚 教学 过 程 中 学 习 者 趋 避 度 和 专注 度 的 情感 模型 
Ey 建立 情感 数值 化 空间 
m HH 游戏 虚拟 人 心理 模型 
立 IBRD A 个 人 机 器 人 心理 模型 
: 玉 清 基于 模糊 认 知 图 的 情感 模型 
陈锋 军 基于 需求 、 情 绪 和 动机 的 情感 计算 模型 
林 基于 模糊 推理 和 非 线性 方法 的 情绪 模型 
upi 刺激 认 知 评价 模型 ， 学生 学 习 情 感 模型 
Eä 人 机 交互 中 的 个 性 化 情感 模型 











表 1-2 对 情感 计算 、 感 性 工学 与 人 工 心 理 研 究 的 相关 性 与 侧重 点 进行 分 析 对 比 。 
表 1-2 三 大 理论 研究 的 侧重 点 





































































































































































































三 大 理论 侧 重 点 
pa 采用 一 定 的 物理 手段 获取 与 情感 相关 的 信息 ， 主 要 进行 对 情感 的 测量 和 识别 ， 其 中 测量 方法 
ede 较 多 的 集中 在 生理 信号 的 量 测 ， 如 利用 人 的 生理 信号 监测 病情 等 
gis 从 “感性 ”的 角度 来 研究 关于 信息 处 理 的 方法 、 过 程 以 及 用 计算 机 实现 的 方法 ， 偏 重 于 对 商 
WIEL 
品 的 观感 和 每 适 感 进行 研究 ， 并 没有 致力 于 对 情感 交互 能 力 的 研究 
利用 信息 手段 ， 对 人 的 心理 活动 (着重 是 人 的 情感 、 意 志 、 性 格 、 创 造 ) 进行 全 面 的 人 工 机 
ed 器 (计算 机 、 模 型 算法 等 ， 实 现 ， 其 范围 更 加 宽广 ， 可 以 认为 人 工 心理 是 人 工 智能 在 横向 和 纵 
深 方面 的 进一步 的 发 展 。 人 工 心理 目前 着 重 于 对 混合 智能 系统 中 的 适应 性 、 情 感 交 互 能 力 以 及 
认 知 方面 的 深层 探索 


1.3.2 ”关键 技术 及 主要 内 容 


情感 机 器 人 所 涉及 的 关键 技术 及 主要 内 容 可 以 由 图 1-11 直观 地 显示 出 来 ， 每 个 关键 技 
术 及 理论 都 将 会 在 本 书 中 进行 详细 介绍 。 

1. 表情 头 的 设计 

对 于 一 个 具有 类 人 情感 的 机 器 人 来 说 ， 不 仅 需要 能 够 进行 情感 表示 的 一 系列 程序 ， 而 且 
需要 能 够 进行 情感 表现 的 一 系列 面部 表情 和 肢体 语言 。 其 中 ， 面 部 表情 的 展现 更 能 直接 迅速 
地 进行 人 机 交互 。 因 此 ， 表 情 机 器 人 的 头 部 设计 至 关 重 要 。 情 感 机 器 人 获取 信息 ， 经 过 信息 
处 理由 表情 机 天 头 来 呈现 其 内 在 的 情感 状态 ， 如 微笑 、 苦 恼 、 快 乐 或 者 惊吓 等 表情 ， 使 电子 
技术 与 机 械 技术 和 谐 统一 ， 最 终 使 得 人 与 机 器 人 目 然 流畅 地 进行 情感 交流 。 同 时 ， 除 了 头 部 
表情 以 外 ， 机 器 人 的 肢体 动作 也 能 传达 其 内 在 的 情感 ， 这 两 部 分 将 在 本 书 第 2 章 《 机 器 头 
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面部 编码 系统 
电机 控制 





实例 介绍 


人 机 交互 与 合作 


图 1-11 情感 机 器 人 涉及 的 相关 技术 及 理论 





及 身躯 设计 》 中 进行 详细 讲解 。 

2. 面部 动作 编码 系统 理论 

当 机 器 人 的 表情 头 设计 好 之 后 ， 需 要 有 理论 来 支持 其 在 何 种 情况 下 做 出 何 种 表情 。 例 
如 ， 只 要 知道 一 个 人 的 脸 在 正常 状态 下 是 什么 样子 ， 通 过 对 方 的 表情 变化 ， 就 能 够 像 读 一 本 
翻 开 的 书 那 样 了 解 对 方 。72 岁 的 美国 心理 学 教授 保罗 . 艾 克 曼 用 了 40 年 的 时 间 研 究 欺 骗 和 
伪装 ， 在 20 世纪 60 年代， 他 在 两 个 互相 隔离 的 原始 部 落 研 究 他 们 的 动作 和 手势 ， 最 终 发 现 
了 人 类 共通 的 特性 ， 并 发 布 了 “面部 动作 编码 系统 ” (Facial Action Coding System, FACS) : 
他 在 人 的 脸 上 发 现 43 种 动作 单元 ， 每 一 种 都 由 一 块 或 者 几 块 肌肉 的 运动 构成 ， 各 种 动作 单 
元 之 间 可 以 自由 组 合 ， 也 就 是 说 ， 人 脸 上 可 能 有 1 万 种 表情 ， 其 中 的 3000 种 具有 一 个 情感 
意义 。 

情感 机 器 人 面部 表情 的 机 械 设计 就 是 以 保罗 艾 克 曼 教 授 的 FACS 为 理论 基础 ， 情 感 机 
器 人 的 头 部 由 舵 机 来 驱动 ， 各 特征 点 运动 合成 机 器 人 的 面部 表情 。FACS 理论 认为 ， 当 人 表 
现 出 惊奇 时 ,会 将 眉毛 拾 起 变 高 变 弯 ， 居 毛 的 皮肤 也 会 被 拉 伸 ;眼睛 会 睁 大 ， 上 眼 瞪 会 被 抬 
高 ; 而 脸 的 下 频 下 落 ， 嘴 也 会 张 开 。 如 果 以 此 种 方式 拉 伸 情感 机 器 人 的 面部 肌肉 ， 便 会 得 到 
一 张 惊讶 的 脸 孔 。 关 于 面部 编码 系统 的 介绍 以 及 其 在 情感 机 器 人 中 的 应 用 将 在 本 书 第 3 章 
“表情 控制 模式 ”中 进行 详细 讲解 。 

3. 电动 机 控制 

情感 机 器 人 是 如 何 做 出 类 人 的 丰富 面部 表情 的 呢 ? 和 答案 是 由 电动 机 来 控制 情感 机 器 人 的 
头 部 和 身 役 的 动作 ， 因 此 研究 电动 机 的 控制 是 必 不 可 少 的 环节 。 和 情感 机 器 人 使 用 的 电动 机 在 
满足 必要 的 输出 力矩 和 输出 速度 的 同时 ， 还 要 使 机 械 结构 紧凑 、 传 动 精度 和 效率 较 高 ， 以 满 
足 机 构 速 度 和 承载 能 力 的 要 求 。 电 动机 的 选择 至 关 重 要 ， 电 动机 选择 的 好 坏 其 至 直接 关系 到 
情感 机 器 人 动作 表现 的 成 功 或 失败 。 关 于 电动 机 控制 的 详细 内 容 将 在 本 书 第 4 章 “ 电 动机 
控制 ”中 进行 详细 讲解 。 

4. 机 器 视觉 

所 谓 机 融 视 觉 ， 就 是 用 机 带 代 蔡 人 了 眼 来 做 测量 和 判断 工作 。 机 器 视觉 系统 是 指 通过 机 融 
视觉 产品 ( 即 图 像 摄 取 装 置 ， 包括 CMOS 和 CCD 两 种 ) 将 被 捕捉 目标 转换 成 图 像 信 号 ， 传 
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送 给 专用 的 图 像 处 理 系统 ， 再 根据 像素 分 布 和 亮度 、 颜 色 等 信息 ， 转 变 成 数字 化 信号 ; 图 像 
处 理 系 统 对 这 些 信 号 进行 各 种 运算 来 抽取 目标 的 特征 ， 进 而 根据 判别 结果 来 控制 现场 设备 的 
动作 。 

在 情感 机 器 人 的 设计 中 ， 通 过 机 器 人 的 眼睛 (摄像 头 或 照相 机 ) 将 被 检测 的 目标 转换 
成 图 像 信号 ， 传 送 给 专用 的 图 像 处 理 系统 ， 根 据 像 素 分 布 和 亮度 、 颜 色 等 信息 ， 转 变 成 数字 
化 信和 号。 图像 处 理 系统 通过 对 这 些 信 号 进行 运算 来 抽取 目标 的 特征 ， 如 面积 、 数 量 、 位 置 、 
长 度 等 特征 ， 再 根据 预 设 的 允许 度 和 其 他 条 件 输出 结果 ， 实 现 自动 识别 功能 。 利 用 机 器 视觉 
的 相关 技术 来 解决 机 器 人 采集 目标 特征 的 详细 内 容 将 在 本 书 第 5 章 “ 机 器 视觉 ”中 进行 详 
细 讲 解 。 

5. 人 机 交互 与 合作 技术 

所 谓 的 人 机 交互 技术 (Human-Computer Interaction Techniques) 是 指 通过 计算 机 输入 、 
输出 设备 ， 以 有 效 的 方式 实现 人 与 计算 机 对 话 的 技术 。 其 中 包括 机 器 通过 输出 或 显示 设备 给 
人 提供 大 量 有 关 信 息 及 提示 请 示 等 ， 人 通过 输入 设备 给 机 器 输入 有 关 信 息 及 提示 请 示 、 回 答 
问题 等 。 人 机 交互 技术 是 计算 机 用 户 界 面 设计 中 的 重要 内 容 之 一 。 它 与 认 知 学 、 人 机 工程 
学 、 心 理学 等 学 科 领 域 有 着 密切 的 联系 。 

如 果 和 希望 人 与 情感 机 器 人 进行 和 谐 智能 的 交互 合作 ， 就 需要 赋予 情感 机 器 人 听觉 与 视觉 
智能 ， 使 计算 机 能 认识 交互 的 对 象 ， 理 解 以 语言 形式 表达 的 说 话 内 容 ， 理 解 交互 对 象 的 情 
感 ， 按 人 的 要 求 进行 工作 ,或 回答 人 提出 的 问题 ， 以 达到 交互 的 目的 。 有 关 人 与 情感 机 器 人 
交互 的 详细 内 容 将 在 本 书 第 6 章 “ 人 机 交互 与 合作 ”中 进行 讲解 。 

6. 机 器 人 软件 平台 设计 

人 与 情感 机 器 人 交互 与 合作 的 研究 ， 不 能 仅 限于 理论 阶段 ,还 需要 有 一 套 完整 的 软件 平 
侣 进行 实际 操作 。 本 书 第 7 草 “ 软 件 集成 ”介绍 了 情感 机 器 人 软件 交互 平台 的 设计 ， 此 设 
计 采 用 模块 化 的 设计 思想 : 将 每 一 个 功能 的 程序 代码 封装 成 一 个 独立 的 模块 ， 再 将 这 些 相 对 
独立 的 功能 模块 集成 到 软件 平台 中 。 这 样 程序 的 结构 清晰 、 接 口 简单 ， 提 高 了 功能 模块 的 扩 
展 性 。 

7. 数据 库 与 知识 库 的 建立 

数据 库 离 我 们 的 生活 越 来 越 近 ， 图 书馆 的 藏书 、 公 交 卡 、 饭 卡 及 病例 资料 等 都 是 通过 数 
据 库 来 进行 管理 的 。 对 于 人 类 本 身 而 言 ， 我 们 用 大 脑 来 记忆 存储 此 刻 之 前 的 数据 、 知 识 等 。 
因此 ， 对 于 完整 的 智能 机 器 人 系统 来 讲 ， 其 内 部 也 必须 有 存储 数据 和 知识 的 部 分 ， 这 就 是 数 
据 库 与 知识 库 。 关 于 数据 库 和 知识 库 是 如 何 进行 存储 数据 和 知识 的 内 容 将 在 本 书 第 8 章 
“数据 库 技术 ”和 第 9 章 “ 知 识 库 技术 ”中 进行 详细 讲解 。 

8. 情感 模型 及 机 器 学 习 

机 器 人 在 某 一 刻 情 感 的 产生 ， 需 要 对 外 界 环境 、 自 身 情感 状态 、 人 类 语言 、 上 肢体 动作 、 
面部 表情 等 综合 的 信号 分 析 。 这 就 需要 对 机 器 人 的 情感 状态 进行 建 模 ， 因 此 情感 算法 的 地 位 
也 就 不 言 而 喻 了 。 目 前 国内 外 已 经 研究 使 用 了 众多 情感 建 模 算法 ,详细 内 容 将 在 本 书 第 10 
章 “ 人 情感 模型 和 机 器 学 习 ” 中 介绍 。 

9. 情感 机 器 人 实例 介绍 
通过 对 以 上 知识 和 技术 的 讲解 ， 我 们 已 经 可 以 建立 起 一 个 相对 完整 的 情感 机 器 人 体系 结 
构 ， 那 么 研究 情感 机 需 人 的 目的 是 什么 呢 ? 情感 机 器 人 到 底 适 合 在 什么 场合 应 用 呢 ? 答案 不 
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尽 相 同 ， 由 于 情感 机 器 人 特有 的 情感 特质 ， 其 可 以 用 于 智能 家 居 ， 人 还 可 

以 用 于 网 络 教学 系统 ， 方 便 远程 教学 ;也 可 以 做 成 可 爱 的 模型 当做 儿童 玩 伴 ， 提 高 儿童 对 科 

技 的 兴趣 ; 还 可 以 辅助 治疗 自 闭 症 儿童 同时 也 可 以 作为 服务 机 器 人 服务 特定 的 人 群 等 。 关 
于 情感 机 器 人 的 应 用 实例 我 们 在 本 书 的 第 11 章 中 可 以 看 到 详细 的 内 容 。 


E 考 题 























1-1 什么 是 情感 机 器 人 ? 它 与 机 器 人 的 主要 区 别 是 什么 ? 
1-2 简 述 情感 机 器 人 研究 的 主要 内 容 。 
1-3 研究 情感 机 器 人 的 主要 技术 支撑 是 什么 ? 
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第 2 HE BL ae Be PK Be ih 


心理 学 家 发 现 ， 在 人 类 情感 交流 的 过 程 中 ， 言 语 内 容 占 7% ， 语 调 占 38% ， 而 说 话 人 
的 表情 占 了 55% 。 因 此 ， 机 咒 人 头 部 是 其 情感 交流 中 至 关 重 要 的 一 部 分 。 那 么 在 机 器 人 
与 人 类 进行 交流 时 ， 和 希望 其 具有 类 人 的 感情 ， 就 要 首先 研究 机 天 人 的 面部 表情 ， 再 以 言 
语 、 语 调 等 特征 作为 辅助 。 好 的 机 械 结构 ， 能 为 机 器 人 的 表情 模式 研究 建立 良好 的 实物 
平台 。 本 章 将 主要 介绍 表情 机 器 头 内 部 机 械 结构 、 面 皮 、 外 壳 等 的 设计 、 人 仿真、 制作 和 
安装 。 目 前 ， 北 京 科技 大 学 王 志 良 教授 的 课题 组 已 经 设计 出 了 多 蒜 表 情 头 ， 图 2-1 JL 
个 典型 例子 。 








2-1 北京 科技 大 学 课题 组 设计 的 多 款 表情 头 


了 表情 机 带头 的 设计 总 方案 ， 并 对 电动 机 选 型 、 材 料 选择 进行 了 分 析 。 最 后 
详细 介绍 了 整个 表情 机 噩 头 设计 制作 的 过 程 、 身 躯 的 设计 和 手臂 的 仿真 。 


2.1 情感 机 器 人 的 头 部 设计 


要 设计 一 个 情感 机 器 人 ， 表 情 机 器 头 是 关键 部 件 ， 它 可 以 通过 表情 表达 出 机 器 人 内 在 的 
情感 状态 ， 最 终 使 得 情感 机 器 人 能 够 与 人 进行 自然 流畅 的 情感 交流 。 有 既然 如 此 ， 所 要 设计 的 
情感 机 器 人 头 部 ， 就 必须 满足 下 面 的 要 求 : 

1) 友好 的 人 机 界面 : 该 情感 表情 机 器 人 具有 与 真实 人 物 极为 相似 的 头 部 形象 ， 使 人 在 
与 机 器 人 对 话 时 拥有 良好 的 第 一 印象 。 

2) 机 械 零 件 要 大 小 适当 、 机 构 简单 灵活 、 重 量 较 轻 、 机 械 惯 量 小 ， 机 械 结构 的 运动 幅 
度 要 与 人 类 的 头 部 特征 基本 相似 。 要 在 有 限 的 空间 里 放置 足够 多 的 机 械 零 件 来 实现 多 自由 度 
协调 运转 ， 机 械 零 件 设计 至 关 重 要 。 

3) 和 谐 的 人 机 交互 模式 : 情感 机 器 人 需要 具有 良好 的 人 机 交互 能 力 ， 既 要 具有 被 动 的 
人 机 交互 功能 也 要 具有 主动 的 人 机 交互 能 力 ， 还 要 能 够 分 析出 交互 者 的 位 置 和 情感 ， 并 能 采 
取 相 应 的 情感 方式 进行 表达 和 输出 。 
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2.1.1 总 体 方案 


设计 情感 机 器 人 的 头 部 ， 首 先 从 情感 机 器 人 整体 结构 出 发 ， 在 考虑 机 构 的 运动 学 、 动 力 
学 和 控制 系统 、 驱 动 系统 和 传感器 需求 的 前 担 下， 进行 了 表情 机 器 头 的 总 体 方案 设计 。 其 
次 ， 参 照 FACS 编码 系统 和 真实 人 物 的 情感 表达 特点 为 机 器 人 设计 头 部 动作 单元 ， 表 情 机 器 
人 的 动作 单元 和 自由 度 见 表 2-1。 


















































表 2-1 自由 度 
部 位 运动 机 能 A 由 度 
眼球 上 下 及 左右 转动 4 
眼 瞪 闭合 、 张 2 
眉头 ta. Ba 2 
嘴角 左右 嘴角 的 拉动 2 
FH 张嘴 、 闭 嘴 1 
颈 部 摇头 、 点 头 2 
嘴唇 说 话 时 的 嘴唇 微 动 1 
总 计 14 


情感 机 需 人 头 部 (也 可 称 之 为 表情 头 ) 的 制作 大 致 可 以 分 为 以 下 四 个 步骤 : 第 一 步 ， 
三 维 机 械 结构 的 设计 ; 第 二 步 ， 机 械 结 构 的 加 工 及 装配 ， 为 了 保证 重量 和 强度 的 要 求 ， 大 部 
分 零件 采用 人 硬 铝 (LY12) 材料 ; 第 三 步 ， 玻 璃 钢 外 壳 及 眼球 、 眼 瞪 的 安装 固定 ; 第 四 步 ， 
硅胶 外 皮 的 制作 安装 ， 面 部 表情 动作 的 设计 ， 头 发 、 睫 毛 、 眉 毛 制 作 安装 、 眼 球 上 色 及 脸 部 
的 化 妆 。 整 个 结构 制作 过 程 如 图 2-2 所 示 。 





图 2-2 机 器 结构 的 制作 过 程 
a) 三 维 结构 b) 机 械 结 构 c) 外 过 结构 d) 机 器 头 


2.1.2 人 体 头 部 运动 与 面部 肌肉 分 析 

我 们 设计 的 情感 机 器 人 需要 以 人 类 的 头 部 运动 作为 参考 对 象 ， 使 人 体 头 部 的 表层 肌肉 和 
颈 部 肌肉 能 够 实现 头 部 运动 和 面部 表情 生成 。 因 此 ， 了 解 人 体 头 部 以 及 面部 肌肉 的 运动 对 研 
究 情感 机 融 人 的 面部 表情 具有 十 分 重要 的 意义 。 
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1. 头 部 运动 构成 与 分 析 

头 部 运动 包括 人 颈 部 自由 转动 、 摆 动 以 及 面部 的 眼球 、 眼 瞪 、 嘴 及 肌肉 的 运动 。 

(1) 有 贷 部 的 运动 

我 们 的 颈 部 肌肉 有 18 块 ， 它 们 使 我 们 能 够 弯曲 贷 部 ， 向 前 倾斜 头 部 ， 以 及 使 头 部 从 一 
边 转向 另 一 边 。 其 中 ， 斜 方 肌 将 头 向 后 拉 ， 胸 锁 乳 突 肌 使 头 倾斜 或 转向 一 边 。 

(2) 眼球 的 运动 

成 人 的 眼球 近似 球形 ， 其 前 后 径 约 24mm , 垂直 径 约 23mm， 水 平 径 约 23. 5mm。 眼 球 位 
于 眼眶 的 前 半 部 。 眼 睛 可 以 自如 地 转动 是 因为 眼睛 有 六 条 肌肉 控制 着 眼球 的 转动 。 内 、 外 直 
肌 负 责 眼球 向 内 或 向 外 转动 ， 上 、 下 直 肌 收缩 时 ， 眼 球 上 转 或 下 转 ， 同 时 还 使 眼球 内 转 ， 上 
斜 肌 主要 使 眼球 内 旋 ， 同 时 还 使 眼球 下 转 和 外 转 ; 下 斜 肌 主要 使 眼球 外 转 ， 同 时 还 使 眼球 上 
转 和 外 转 。 这 六 条 肌肉 互相 密切 配合 ， 使 眼球 协调 一 至 地 上 下 左右 自由 转动 。 

(3) 眼 瞪 的 运动 

眼 瞪 是 长 在 眼球 前 面 的 软组织 ， 它 就 像 两 扇 能 自动 开 合 的 大 门 一 样 ， 对 眼球 起 保护 作 
用 。 眼 瞪 分 上 下 两 部 分 ， 上 眼 瞪 较 下 眼 瞪 大 而 宽 。 肌 层 ， PGES LAPEER, AR ee 
肌 是 由 动 眼神 经 支配 ， 起 开 瞪 作用 。 

(4) 下 频 的 运动 

BOL PALS HP aE], ARR, STRAIT ETA, MERA WRA. F 
颌 关节 是 具有 传动 和 滑动 的 左右 联动 关节 ， 主 要 有 开 闭 、 前 伸 和 侧 方 运动 三 种 基本 形式 。 这 
些 运动 是 通过 咀嚼 肌 群 、 万 带 、 关 节 之 间 互 相 协调 的 动作 而 产生 的 。 

2. 面部 肌肉 分 析 

面 肌 为 扁 沙 的 皮 肌 ， 位 置 浅 表 ， Pea 
大 多 起 自 颅骨 的 不 同 部 位 ， 止 于 面部 
皮肤 ， 主 要 分 布 于 面部 孔 裂 周围 ， 如 
眼 裂 、 口 裂 和 锚 孔 周围 ， 可 分 为 环形 
肌 和 辐射 肌 两 种 ， 有 闭合 或 开 大 上 述 
孔 裂 的 作用 ; 同时 ,牵动 面 部 皮肤 ， 
显示 喜 怒 哀乐 等 各 种 表情 。 人 类 面 肌 
较 其 他 动物 发 达 ， 这 与 人 类 大 脑 皮 质 
的 高 度 发 展 、 思 维和 语言 活动 有 关 ， 
人 耳 周 围 肌 已 明显 退化 。 人 体面 部 肌 
肉 分 布 图 如 图 2-3 所 示 。 

(1) 颅 项 肌 

颅 顶 肌 阔 而 薄 ， 左 右 各 有 一 块 枕 
额 肌 ， 它 由 两 个 肌 腹 和 中 间 的 帽 状 妥 
膜 构成。 前 方 的 肌 腹 位 于 额 部 皮下 ， 图 2-3 ”面部 肌肉 分 布 图 
称 额 腹 ; 后 方 的 肌 腹 位 于 枕 部 皮下 ， 
称 枕 腹 。 帽 状 妥 膜 很 坚韧 ， 连 于 两 肌 腹 ， 并 于 头皮 紧密 结合 ， 而 与 深部 的 骨膜 则 隔 以 疏松 的 
结缔 组 织 。 枯 腹 起 自 枕 骨 ， 额 腹 止 于 应 部 皮肤 。 枕 腹 可 向 后 牵 拉 帽 状 腿 腊 ， 额 腹 收 缩 时 可 提 
眉 ， 并 使 额 部 皮肤 出 现 皱纹 。 
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(2) REIL 

Ie VAR Sal A, Se, ERRA E. ADR A ee, “4 
AARE, ATS SRI, REVI TE Ei Dd SH o 

(3) 口 周 围 肌 

口 周围 肌 位 于 口 裂 周围 ， 包 括 辐 射 状 肌 和 环形 肌 。 辐 射 状 肌 分 别 位 于 口 层 的 上 上、 下方， 
能 上 提 上 展 ， 降 下 展 或 拉 口角 向 上 、 向 下 或 向 外 。 在 面颊 深部 有 一 对 颊 肌 ， 此 肌 紧 贴 口腔 侧 
RE, ER, URN AA, APB AIM; 还 可 以 外 拉 口 角 。 环 绕 口 裂 的 环形 肌 称 为 口 轮 
AL, Wea AA CAA) 。 

(4) RHL 

鼻 肌 不 发 达 ， 为 几 块 扁 薄 小 肌 ， 分 布 在 鼻孔 周围 ， 有 开 大 或 缩小 鼻孔 的 作用 。 

3. 面部 表情 研究 及 实现 方法 

机 器 人 要 产生 仿 人 的 表情 ， 一 般 有 如 下 两 个 方向 : 

其 一 是 采用 机 械 结构 并 安装 摄像 机 、 传 声 器 等 传感器 构成 头 部 和 眼 、 耳 、 口 等 器 官 。 
根据 美国 心理 学 家 Ekman 的 面部 动作 编码 系统 (Facial Action Coding System, FACS) 的 
44 个 运动 单元 (AU) 中 ,有 24 个 AU 与 人 的 表情 有 关 。 为 实现 面部 表情 ， 在 机 器 人 面 
部 皮肤 上 设计 与 各 AU 点 对 应 的 表情 控制 点 ， 面 部 表情 驱动 机 构 〈 一 般 采 用 电动 机 、 气 缸 
驱动 ， 液 压 驱动 ) 与 表情 控制 点 相连 ,通过 表情 控制 点 的 组 合 和 位 移 变化 ， 实 现 不 同 的 
面部 表情 。 

其 二 是 采用 仿 人 头骨 、 仿 人 顺 官 、 仿 人 肌肉 、 仿 人 皮肤 等 构成 人 头 部 ， 用 人 工 肌 肉 来 驱 
动产 生 表情 ， 可 以 使 尖 部 外 表 和 面部 表情 高 度 仿 真 ， 但 目前 来 说 ， 在 仿 人 肌肉 等 方面 的 研究 
还 不 十 分 完善 ， 实 现 起 来 比较 困难 。 所 以 ， 目 前 大 多 采用 前 一 种 方法 ， 如 日 本 的 原文 雄 教授 
研制 的 “AH I” 机 器 人 。 

人 脸 是 一 个 层次 化 的 结构 ， 它 由 头骨 、 肌 肉 层 、 和 覆盖 的 结缔 组 织 和 外 部 的 皮层 组 成 ， 人 
脸 表情 的 产生 是 由 于 脸 部 肌肉 的 变形 引起 的 。 使 人 脸 具 有 表情 所 涉及 的 主要 肌肉 有 口 轮 焉 
HL AHL AW, REENE, RRRA EAA OHER; 皱 鼻 子 主要 由 于 上 鼻 肌 收 
缩 ; 额 肌 收缩 造成 额 骨 处 脸 正 的 提高 ; 眼睛 及 眼 部 周围 的 运动 主要 是 由 眼 轮 牙 肌 收 缩 导 
致 的 。 

瑞典 解剖 学 家 约 特 舍 在 20 世纪 60 年 代 首 次 发 现 并 研究 了 人 类 表情 的 最 小 单元 ， 在 约 特 
舍 理 论 的 基础 上 ， 美 国 心理 学 家 Paul Ekman 和 Friesen 较 早 地 对 脸 部 肌肉 群 的 运动 及 其 对 表 
情 的 控制 作用 做 了 深入 研究 ， 开 发 了 面部 动作 编码 系统 (Facial Action Coding System, 
FACS) 来 描述 人 类 面部 表情 。 他 们 根据 人 上 脸 的 解剖 学 特点 ， 将 其 划分 成 既 相 互 独立 又 相互 
联系 的 44 个 运动 单元 (AU) ， 并 分 析 了 这 些 运 动 单元 的 运动 特征 及 其 所 控制 的 主要 区 域 及 
与 之 相关 的 表情 。 这 44 个 活动 单元 指 的 是 脸 部 肌肉 的 运动 ， 其 中 某 些 基 本 运动 的 组 合 就 构 
成 特定 的 面部 表情 。 例 如 ， 向 上 竖 起 眉毛 是 一 个 活动 单元 ， 抬 起 面颊 是 一 个 活动 单元 ， 抬 起 
嘴角 也 是 一 个 活动 单元 ， 抬 起 嘴角 并 抬 起 面颊 就 形成 了 微笑 。 关 于 面部 动作 编码 系统 的 详细 
介绍 见 本 书 第 3 EE 
通过 对 上 述 理论 的 研究 和 分 析 ， 得 到 的 基本 的 面部 表情 的 肌肉 运动 大 致 组 合 见 表 2-2。 
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表 2-2 肌肉 运动 与 表情 的 关系 表 




























































































x tf Mk. AL EO 的 下 半 部 
HERE, TETS, ABWR] RERA, LIR 
HA 颌 ř E, EF 
A 被 拉 伸 RIAS 下 颌 下 落 ， 嘴 张 
由 毛 抬 起 并 皱 在 一 起 ， 额 头 的 皱纹 B . 
恐惧 EE AR ERRE 嘴 张 开 ， 嘴 层 轻 微 紧张 ， 向 后 拉 
集中 在 中 部 
RE 由 毛 及 上 限 瞪 压低 = ERIRE, WEAF RL, EAE 
HER 由 毛 皱 起 ， 眉 宇 间 出 现 竖 纹 Ree | RZA, WARE, RYKI 
5X BEARS z WESAIRIMARS, UKK, RIE 
眼 内 角 的 上 眼 瞪 
翡 伤 由 毛 内 角 皱 在 一 起 抬 高 Pa ”| RFR 
RI 











2.2 ”表情 头 的 实现 


2.2.1 标准 件 的 选取 


1. 电动 机 的 选取 
情感 机 器 人 使 用 的 电机 在 满足 必要 输出 力矩 和 输出 速度 的 同时 ， 必 须 使 机 械 结 构 紧 凑 、 
传动 精度 和 效率 较 高 ， 能 够 满足 机 构 速 度 和 承载 能 力 的 要 求 。 电 动机 的 选择 至 关 重 要 ， 电 动 
机 选择 得 好 坏 甚至 直接 关系 到 项 目的 成 功 或 失败 。 我 们 根据 具体 情况 ， 选 择 体积 小 ， 重 量 
轻 ， 经 济 实用 的 舵 机 作为 本 设计 的 主要 电动 机 元 件 。 本 章 下 面 所 介绍 的 情感 机 器 人 的 表情 头 
一 共 选 用 了 两 种 型 号 的 舵 机 ， 参 数 见 表 2-3。 
表 2-3 舵 机 参数 表 


























HG14- M GWS MICRO 2BBMG 
电压 : 4.8~7.4V 电压 : 6.0V 
ERIE: 14kg .cm FRIE: 6.4kg .cm 
尺寸 : 40mm x43mm x 19mm Root; 28mm x 14mm x29. 8mm 


2. 机 械 材料 的 选取 

目前 ， 市面 上 的 工程 材料 种 类 繁多 ， 大 体 上 可 分 为 金属 材料 和 非 金属 材料 两 类 。 金 属 材 
料 又 可 以 分 为 黑色 金属 和 有 色 金 属 。 非 金属 材料 主要 包括 工程 塑料 、 橡 腕 和 工程 涂料 。 具 体 
包括 橡胶 与 橡胶 制品 、 玻 璃 与 玻璃 制品 、 陶 次 制品、 耐火 材料 与 隔 热 材 料 、 碳 和 石墨 材料 、 
石 机 、 云 母 、 电 气 绝缘 材料 、 塑 料 与 塑料 制品 、 涂 料 、 燃 料 和 润滑 材料 等 。 营 用 金属 材料 主 
要 有 钢 、 铁 、 铀 、 铝 、 钛 、 镁 、 钊 、 锋 、 铅 和 锡 等 。 其 中 每 种 材料 还 可 以 分 成 若干 小 类 。 通 
常情 况 下 很 少 使 用 单一 的 金属 材料 ， 合 金 材 料 的 使 用 比较 广泛 。 

由 于 情感 机 器 人 头 部 对 机 械 和 零件 强度 的 要 求 较 小 ， 所 以 可 以 选用 尺寸 尽 可 能 小 的 零件 ， 
同时 考虑 到 机 械 松动 的 问题 ， 所 以 不 适合 用 塑料 之 类 的 工程 材料 。 考 虑 到 美观 和 成 本 的 原 
因 ， 我 们 采用 抗 拉 强度 较 低 、 比 重 较 轻 但 硬度 较 高 的 硬 铝 合金 。 便 铝 合 金 LY12 的 元 素 组 成 
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如 下 : 

硅 0.5%， 铁 0.5%,， 铀 3.8% ~ 4.9%, i 0.3% ~0.9%, 镁 1.2% ~1.8%， 铬 
0.10% ， 锌 0.25% ， 钛 0.15% ， 其 他 0. 15% ，LY12 的 力学 特性 见 表 2-4， 完 全 可 以 满足 仿 
人 头 部 机 器 人 对 零件 材料 的 要 求 。 

表 2-4 LY12 力学 特性 


o, /MPa Ty (%) HBS 





420 15 100 


2.2.2 结构 设计 


1. 制作 过 程 

表情 头 的 制作 主要 包括 以 下 几 个 过 程 : 

1) 三 维 机 构 设 计 : 本 设计 采用 Pro/E 进行 实体 建 模 ， 按 照 自 然 人 脸 的 比例 大 致 确定 内 
部 机 械 结构 的 尺寸 ， 检 查 有 无 元 件 干扰 和 有 没有 安装 空间 ， 并 在 必要 情况 下 进行 机 构 动 态 仿 
真 。 检 查 机 构 运 行 是 否 流畅 ， 观 察 机 构 运 行 效果 。 

2) 机 械 零 件 的 加 工 、 装 配 和 初步 调试 : 机 械 零 件 在 装配 完成 后 要 进行 初步 调试 ， 以 确 
定安 装 的 位 置 和 角度 ， 防 止 开 机 时 机 械 头 复 位 产生 卡 死 的 问题 。 

3) 配件 安装 固定 : 安装 和 固定 玻璃 钢 外 过 及 眼球 、 眼 瞪 。 

4) 硅胶 外 皮 固 定 : 制作 和 安装 硅胶 外 皮 ， 安 装 头 发 、 睫 毛 、 眉 毛 并 进行 脸 部 化 妆 。 

2. 三 维 设计 

可 以 利用 三 维 设计 软件 Pro/E 进行 实体 建 模 ， 从 三 
维 图 上 直观 地 看 到 实物 模型 ， 并 对 整体 结构 进行 干涉 检 
验 。 表 情 机 带头 的 三 维 设计 图 如 图 2-4 所 示 。 

3. 加 工 和 装配 

考虑 到 现实 中 人 脸 的 差异 性 以 及 加 工 、 安 装 时 的 误 
差 ， 我 们 将 重要 特征 尺寸 (如 两 眼中 心 距 离 、 眼 和 嘴 的 
相对 位 置 等 ) 的 机 械 零 件 采 用 浮动 设计 ， 对 需要 孔 和 边 
定位 的 零件 均 采 用 长 形 槽 的 方法 进行 定位 ， 这 样 既 可 以 
轻松 避免 加 工 和 安装 误差 所 产生 的 问题 ， 又 可 以 广泛 适 
用 于 不 同人 物 的 脸型 ， 只 需 进 行 简单 的 变动 ， 然 后 加 上 
该 形象 的 面皮 即 可 轻松 完成 新 的 人 物 形象 制作 。 图 2-4 表情 机 器 头 的 三 维 设 计 图 

4. 固定 

机 械 零件 在 安装 完成 后 需要 进行 简单 的 动作 的 调试 ， 确 保 运 动机 构 能 够 顺畅 运行 ， 同 时 
还 要 初步 确定 各 种 动作 的 机 构 主动 件 (电动 机 ) 运动 范围 。 待 检查 没有 问题 了 以 后 ， 就 可 
以 将 事先 做 好 的 玻璃 钢 外 壳 和 人 物 形象 面皮 固定 在 机 械 结构 件 上 ， 如 图 2-5 所 示 。 

5. 修饰 和 化 妆 

在 表情 机 器 头 完工 之 前 ， 为 了 做 到 高 度 的 和 逼 真性 ， 进 行 修 饰 和 化 妆 是 十 分 必要 的 。 在 安 
装 眼 睫毛 、 胡 子 、 假 发 并 化 妆 后 的 效果 如 图 2-6 所 示 。 
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图 2-5 ” 套 上 玻璃 钢 外 过 的 表情 机 器 头 图 2-6 表情 机 器 头 的 外 
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2.2.3 动作 设计 


1. 眼球 的 设计 

我 们 给 眼 部 的 设计 自由 度 是 6 个 ， 每 只 
眼球 3 个 自由 度 ， 包 括 眼球 的 上 下 运动 、 眼 
球 的 左右 运动 和 有 眼 瞪 的 开 合 。 由 于 眼 部 结构 
复杂 、 空 间 紧 竣 、 动 作 相对 比较 灵活 、 运 动 
机 率 较 高 ， 因 此 选用 台湾 产 的 带 金 属 齿 轮 
MICRO 2BB MG 型 号 的 小 舵 机 。 为 保证 机 器 
头 的 颈 部 舵 机 能 带动 整个 头 部 运动 (点 头 和 
摇头 ) ， 颈 部 的 材质 应 选用 硬 铝 (LY12 ) ， 
既 可 满足 强度 要 求 又 能 减轻 重量 。 机 械 结构 
设计 三 维 图 如 图 2-7 所 示 。 

结构 的 原理 是 : 舵 机 4 和 能 机 5 利用 配 
套件 直接 与 眼球 连 在 一 起 ， 直 接 控制 眼球 沿 图 2-7 机 械 结 构 设 计 三 维 轿 
左右 方向 运动 ， 理 论 上 转动 角度 可 以 达到 
180"， 但 实际 上 的 运动 幅度 可 能 只 需要 30% 舵 机 2 通过 一 个 四 杆 机 构 (包括 电机 配套 件 ， 底 
座 ， 拉 杆 和 动 支 杆 ) ， 这 样 一 个 舵 机 就 可 以 控制 2 个 眼球 的 上 下 方向 转 劲 ， 一 个 舵 机 完成 了 
2 个 自由 度 的 控制 ， 在 实现 必要 功能 的 情况 下 节省 了 许多 空间 。 舵 机 1 和 艇 机 3 用 来 控制 眼 
瞪 的 运动 。 眼 瞪 闭 合 和 张 开 也 利用 一 个 四 杆 机 构 来 实现 ， 机 构件 主要 包括 电动 机 配套 件 、 连 
杆 、 眼 瞪 和 底座 ， 动 作 非 常 灵 活 。 了 眼 部 的 动作 如 图 2-8 所 示 。 

2. 颈 部 的 设计 

图 2-9 所 示 为 贷 部 二 维 装 配 图 ， 其 中 的 舵 机 选择 HG14- M 型 号 舵 机 。 由 于 整个 头 部 的 
机 械 结构 相对 来 说 比较 重 ， 所 以 对 颈 部 的 设计 采用 了 两 个 S1104 的 推力 球 轴 承 来 承担 轴 癌 
力 。 使 用 轴承 的 另 一 个 好 处 是 轴承 轿 和 滚珠 之 间 是 高 副 连 接 ， 比 普通 的 低 副 连接 受到 的 摩擦 
阻力 要 小 得 多 ， 因 而 对 电动 机 的 力矩 要 求 大 大 降低 ， 对 控制 系统 有 一 定好 处 。 

头 部 的 整体 支架 是 用 硬 铝 加 工 而 成 ,对头 部 起 整体 支撑 作用 。 上 面 安装 了 眉头 艇 机、 中 
部 艇 机 和 了 眼 部 底板 等 。 
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3. 眉头 的 设计 

眉头 部 分 的 自由 度 有 两 个 : 眉毛 向 上 挑 和 皱眉 。 眉 头 运动 是 通过 舵 机 的 舵 盘 拉动 硅胶 面 
皮 的 眉头 部 分 实现 的 。 由 于 面皮 材料 的 弹性 不 是 很 好 ， 因 此 眉头 部 分 的 拉动 在 图 片 中 的 幅度 
也 不 是 很 大 ， 如 图 2-10 所 示 。 








图 2-10 ”眉头 部 分 的 动作 实现 











4. 嘴 部 的 设计 

嘴 部 运动 是 通过 张嘴 和 嘴角 拉动 来 实现 的 。 舵 机 带动 连 杆 ， 使 连 杆 上 的 下 牙 片 带动 面皮 
的 下 颌 实现 嘴巴 张 开 、 闭 合 。 上 牙 片 和 下 牙 片上 都 固定 按 人 比例 制作 的 假牙 、 假 牙 床 。 嘴 角 
的 运动 和 眉毛 的 运动 原理 是 一 样 的 ， 也 是 通过 拉线 的 方式 完成 。 图 2- 11 所 示 为 张嘴 动作 实 
现 的 三 维 图 ， 图 2-12 所 示 为 嘴 部 表现 出 正常 、 嘴 角 拉 动 及 张嘴 的 形态 。 





嘴角 拉动 
图 2-11 张嘴 动作 的 实现 Al 2-12 嘴 部 的 动作 实现 


2.2.4 面皮 及 面部 支撑 壳 的 制作 


情感 机 器 人 的 面皮 采用 硅胶 材料 ， 按 照 人 物 外 形 比例 制 成 。 硅 胶 具 有 良好 的 稳定 性 ， 无 
害 、 无 毒 ， 而 且 理 化 性 质 稳 定 ， 用 在 情感 机 器 人 上 不 会 对 人 引起 副作用 。 其 次 ， 硅 胶 面 皮 为 
有 形 实体 ， 不 易 变形 ， 塑 造 的 人 物 形象 可 以 长 久保 持原 来 的 状态 ， 再 者 ， 硅 胶 面 皮具 有 非常 
好 的 弹性 ,便于 人 脸 肌 肉 的 拉动 。 男 外 ， 硅 胶 面 皮 有 类 人 的 皮肤 效果 ， 看 起 来 比较 允 真 ， 这 
对 表情 机 融 人 的 设计 来 说 是 非常 重要 的 。 面 皮 支 撑 件 采用 玻璃 钢 制 成 。 玻 璃 钢 学 名 玻璃 纤维 
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增强 塑料 。 它 是 以 玻璃 纤维 及 其 制品 (玻璃 布 、 带 、 秸 、 纱 等 ) 作为 增强 材料 ， 以 合成 树 
脂 作为 基体 材料 的 一 种 复合 材料 。 玻 璃 钢材 料 具有 轻 质 高 强 、 耐 腐蚀 性 能 好 、 电 性 能 好 、 热 
导 性 能 好 、 可 设计 性 好 、 工 艺 性 优良 等 特点 ， 用 于 机 器 人 技术 是 非常 好 的 一 种 选择 。 总 体 来 
说 面皮 和 玻璃 钢 壳 的 制作 可 以 分 成 以 下 四 个 步骤 。 

1. 泥 模 制作 

首先 要 为 情感 机 器 人 选 定 一 个 合适 的 外 形 ， 
也 就 是 情感 机 器 人 做 出 来 以 后 要 实现 的 人 物 形 F 
象 。 本 设计 选 定 模仿 著名 科学 家 爱 因 斯 坦 的 形 
象 。 泥 模 的 制作 材料 是 黏 士 ， 采 用 雕刻 的 方法 
来 实现 人 物 形象 的 形成 。 机 器 人 头 部 泥塑 如 图 
2-13 所 示 。 

2. 石膏 模 制作 

泥 模 在 做 好 之 后 就 可 以 进行 石膏 模 的 制作 。 
其 制作 目的 是 形成 该 泥 模 的 凹 模 ， 采 用 的 方法 È 
如 下 : Kmk AERAN, Ka BRE A 
在 水 内 。 注 意 此 步 不 能 心急 ， 和 否则 会 有 气泡 出 图 2-13 机 器 人 头 部 泥 亨 
现 。 石 谨 粉 倒 入 水 内 时 ,不 可 立即 搅拌 ， 让 它 
有 一 小 段 时 间 静 止 ， 约 一 分 钟 到 两 分 钟 。 利 用 匙 次 或 棒子 来 搅拌 使 温水 和 石膏 粉 能 充分 混 
合 ， 等 待 一 两 分 钟 让 混合 的 石膏 凝固 。 将 石膏 抹 在 事先 已 经 做 好 的 泥 模 上 ， 完 全 干 透 后 便 形 
成 止 模 。 将 泥 模 从 中 间 掏 出 ， 此 时 正好 形成 一 个 和 原 泥 模 一 模 一 样 但 性 质 相 反 的 石膏 模型 。 

3, 硅胶 面皮 制作 

在 容器 里 倒 入 适量 的 液体 硅胶 ， 按 1:1 加 入 固化 剂 搅 
拌 均匀 后 ， 用 刷子 把 该 液体 刷 到 做 好 的 石膏 模具 内 壁 ， 连 
续 几 天 每 天 刷 一 次 ， 等 硅胶 液体 形成 的 面皮 厚度 达到 要 求 
后 取出 ， 一 张 棚 棚 如 生 的 硅胶 面皮 就 算 制 作 完成 了 。 注 意 ， 
固化 剂 的 比例 是 可 以 调节 的 ， 固 化 剂 的 比例 越 高 ， 液 体 的 
癣 固 速 度 就 更 快 ， 在 实际 应 用 时 一 定 要 选择 合适 的 比例 ， 
凝固 太 快 和 凝固 太 慢 都 不 利于 面皮 的 制作 。 男 外 ， 在 往 已 
经 刷 过 几 次 的 面皮 上 再 次 刷 硅 胶 液 体 时 ， 可 以 在 原来 的 面 
皮 上 添加 纤维 丝 等 来 增加 面皮 强度 ， 这 样 制作 好 的 面皮 就 
会 在 拥有 良好 的 弹性 的 同时 还 能 承受 相当 的 拉力 而 不 损坏 。 
面皮 制作 好 后 效果 如 图 2-14 所 示 。 图 2-14 BERT 

4. 玻璃 钢 过 制作 

这 时 先 不 用 将 面皮 从 模具 中 取出 来 ， 再 在 模具 上 面 继续 翻 制 玻 璃 钢 的 外 壳 ， 这 样 就 可 以 
保证 玻璃 钢 壳 和 面皮 的 紧密 贴 合 。 玻 璃 钢 是 用 玻璃 纤维 及 其 织物 与 合成 树脂 复合 而 成 的 材 
料 ， 玻 璃 钢 有 以 下 主要 特点 : 

1) 强度 高 、 耐 高 温 、 化 学 稳定 性 好 、 电 绝缘 性 好 ; 

2) 玻璃 钢 重 量 轻 ， 只 相当 于 钢 的 1/5 ~ 1/4 ， 而 机 械 强度 是 塑料 中 最 高 的 ， 某 些 性 能 已 
达到 普通 钢 的 水 平 ; 
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3) 固化 后 的 玻璃 钢 有 较 高 的 粘 接 强度 ， 固 
化 时 收缩 性 小 且 不 易 变形 。 但 不 足 之 处 在 于 相对 
制作 成 本 高 ， 某 些 固化 剂 有 一 定 毒性 ， 难 于 修 
改 、 打 麻 、 修 整 ， 制 作 工 艺 繁 琐 。 

将 调制 好 的 玻璃 钢 溶液 用 毛 刷 在 面皮 上 涂 刷 
1 ~2 遍 ， 往 上 面 放 置 玻璃 纤维 布 ， 然 后 再 往 玻 
璃 纤维 布 上 涂 刷 1 ~2 遍 玻璃 钢 洲 液 ， 直 到 达到 
所 需要 的 厚度 为 止 。 等 到 玻璃 钢 完 全 固化 后 即 可 
脱 模 成 型 了 。 玻 璃 钢 外 壳 制 作 完成 后 效果 如 图 
2-15 所 示 。 


2.2.5 其 他 附件 


在 机 械 结 构 和 和 面皮、 玻璃钢 过 固定 的 过 程 
中 ， 还 要 通过 调试 电动 机 以 确保 面部 动作 及 表情 
的 准确 和 逼真 。 

2.2.6 ”运动 学 仿真 

机 器 人 头 部 运动 学 仿真 涉及 正和 运动 学 、 道 运动 学 、 工 作 
空间 、 轨 迹 规 划 等 问题 。 本 文通 过 分 析 实 物 ， 发 现 表情 头 的 
头 部 各 部 位 的 运动 其 实 是 带 有 闭 链 的 串联 连 杆 的 运动 ， 其 中 
闭 链 的 四 杆 机 构 是 驱动 器 ， 可 以 驱动 其 他 连 杆 运动 ， 由 于 我 
们 是 在 关节 空间 中 分 析 问 题 ， 而 不 是 在 驱动 空间 ， 这 样 我 们 
就 不 必 考 虑 四 杆 机 构 ， 直 接 把 它 简化 成 被 驱动 的 连 杆 ， 使 问 
题 得 到 简化 。 通 过 Pro/E 三 维 造型 ， 得 到 各 关节 的 具体 尺 
才 ， 为 我 们 分 析 问 题 提 供 了 方便 。 

机 器 人 眼球 的 正 运动 学 分 析 ， 建 立 如 下 坐标 系 : 共 设 五 个 
坐标 系 一 一 S, ，S,，S;，S, 和 S;， 如 图 2-16 所 示 ， 这 里 我 们 采 
用 的 是 后 置 坐 标 系 。 其 中 坐标 系 的 2 与 关节 轴 重 合 ， 坐 标 系 的 
原点 位 于 两 关节 轴 公 垂 线 与 关节 轴 的 交点 , 轴 沿 公 垂 线 由 前 一 
关节 指向 后 一 关节 。 机 器 人 眼球 运动 各 杆 件 参数 见 表 2-5。 

两 杆 间 的 位 姿 矩 阵 ， 根 据 参数 表 和 D-H 公式 可 得 























cA, 0 sb, 0 
17 = s0, 0 -cO, 0 
0 1 0 0 
0 0 0 1 
c0, —s0, a, * c0, 
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图 2-16 Hla AL 





民 球 坐标 系 





2-5 机 器 人 眼球 运动 各 杆 件 参数 






































721 = (5i $ Cy 洲 C3 一 81 * S3 * $3 ) * C4 十 C1 * Sy 





a,_,/mm 
: 节 a; (°) po d;/mm 0; (°) 
(交错 角 ) | SM | (结构 参数 ) | (关节 变量 ) | 代表 的 动作 | 关节 范围 / 
AEE) 
90 0 0 4, 摇头 0 ~ 180 
0 a 0 0 点 头 57 ~ 85 
眼球 上 下 
-90 0 a; 0; oe 90 ~ 111 
运动 
左 眼球 左 
0 0 a, 0, oa 79 ~89 
右 运 动 
c0, -sů 0 
T= sô, 0 ch, 0 
0 -1 a, 
0 0 0 1 
cô, -s0, O 
T= s0, A, 0 0 
1 a 
0 0 0 1 
将 各 个 连 杆 矩阵 连 乘 得 到 ;了 7 
Tu n 73 Px 
T= Poo fa 723 Py 
Ps) 732 7T33 P: 
0 0 0 1 
式 中 
ry = (ce, *c, * C3 一 C1 * s, * s3) 六 C4 一 $1 ¥ S4 


Toy = — (ci * cC, * C3 — C * 8, * s3) ¥8,—8, * C 

Ty = — (ce, * C, =s * S3) * C, * s4 = (Ci * C, =s] * s3) * s3 * C, 
Ta = — (8, ¥ Cy ¥ C =S] ¥ Sy ¥ 53) FS, +C * Cy 

Ta = — (S, * C3 +C, * s3) * Sy 

Tig = =C] * Cy * 83 =C] * $y * C3 

Ta = =S] ¥ C ¥ 83 —S, * S, * C3 

133 = — S3 * S$; +C, * C3 


P, = ( Oy *C ¥ S3 =C] * ay * C3) * dy +s; * a; 十 CI * a, *C, 


py = 人 — 5, ŽC, ¥ S3 一 51 * S, * C3) * A, —C, * A, +58, * a, * Cy 


Dp, = ( —S, 米 S3 +C, * Cs ) * a4 +d, * Sy 
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a, =112 
a, =34 
a, =34 
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其 中 cc; =cos0,(i=1, 2, 3, 4); s; =sin0;,(i=1, 2, 3, 4) 
于 是 可 得 眼球 作为 末端 执行 器 的 姿态 和 位 置 分 别 是 


731 132 T33 P: 
机 器 人 有 眼球 的 运动 仿真 ， 通 过 matlab 中 的 robot tools 工具 箱 ， 建 立 从 机 器 人 脖子 到 眼球 
的 运动 模型 ， 在 控制 面板 (ILE 2-17) 的 控制 框 内 输入 4 个 关节 角 的 值 ， 便 可 以 计算 出 眼 
球 相 对 于 基础 坐标 系 的 空间 位 置 ， 如 图 2-18 所 示 的 三 维 立 体 图 (图 示 为 起 始 状 态 ) ， 这 样 ， 
就 可 以 驱动 机 器 人 头 部 运动 ， 其 效果 如 同 实 际 控制 机 器 人 一 样 。 













noname 


x: | 0.112 y | 0.000 z: | 0.034 
ax] 0.000 ay 0.000 az 1.000 | 











图 2-18 三 维 立体 图 





1. 正 运动 仿真 实例 
假定 机 器 人 眼球 初始 关节 量 g=[0 0 0 0], 此 时 眼球 位 于 空间 N, = (0. 112， 
0.000, 0.034) 的 位 置 ， 当 运动 到 空间 N, = (0.115，- 0.005，0. 075) 时 关节 变量 就 会 变 
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化 至 gq = [0.25132 0.37698 -0.56547 0.18849], 通过 matlab 仿真 ， 可 以 生成 机 器 人 
从 起 点 运动 到 终点 的 关节 坐标 轨迹 。 例 如 第 一 个 点 为 








T(:,:, 1) = 
1. 0000 0 0 0.1120 
0 1.0000 0 0 
0 0 1.0000 0.0340 
0 0 0 1.0000 
最 后 一 点 为 
T (:,:, 36) = 
0. 8880 一 0. 4226 0.1815 0.1070 
0. 4214 0. 9057 0.0466 0.0275 
-0. 1841 0. 0351 0.9823 0.0746 
0 0 0 1. 0000 


运动 学 验证 ， 对 终止 位 置 关 节 量 进行 赋值 : 

0, =0.25132，0, =0.37698, 0, = -0. 56547, 0, =0. 18849 

代入 公式 姿态 矩阵 和 位 置 矩 阵 可 得 

[ri ra ra 0.8880 -0.4226 0.1815 
R=| ra ry ra |=| 0.4214 0.9057 0.0466 
-0.1814 0.0351 0.9823 


731 T32 T33 





P. | [0.1070 
P =| p, | =| 0. 0275 
p. | [0.0746 





和 上 面 公 式 中 的 最 后 一 点 的 位 姿 矩 阵 结 果 完 全 符合 ， 可 见 正 运动 学 模型 完全 正确 。 
仿真 结果 分 析 : 通过 仿真 ， 可 以 看 出 机 器 人 头 部 各 关节 在 运动 过 程 中 情况 正常 ， 运 动 平 
连 杆 之 间 没 有 错位 冲突 的 情况 ， 验 证 了 所 有 连 杆 参数 设计 的 合理 性 。 
机 器 人 眼球 末端 位 移 曲 线 如 图 2-19 所 示 ， 表 示 机 器 人 从 初始 位 置 运动 到 终止 位 置 时 ， 
末端 关节 沿 x，y，z 方 向 的 位 移 变 化 。 

其 位 移 变 化 三 维 图 如 图 2-20 所 示 。 

其 中 各 关节 变量 变化 如 图 2-21 所 示 。 

机 器 人 眼 瞪 的 运动 学 仿真 ， 机 器 人 有 眼 瞪 的 正 运动 学 ， 建 立 如 下 坐标 系 ， 共 设 六 个 坐标 
A: Si, S2, S3, S4, Ss, So, WAI 2-22 所 示 。 机 器 人 有 眼 瞪 运动 各 杆 件 参 数 见 表 2-6,7 

表 2-6 机 器 人 眼 瞪 运动 各 杆 件 参数 表 


pu 


























关节 a (°) a/ mm d/mm 0 (°) 代表 的 动作 关节 范围 /。 
1 90 0 0 0, 摇头 0 ~180 a, = 112 
2 0 a 0 0 mA 57 ~85 a; =34 
3 -90 0 a; 0; 眼球 上 下 运动 90 ~111 a, =34 
4 90 0 a4 04 左 眼 球 左 右 运动 79 ~89 as =19 
5 0 0 as 0; 睁 眼 闭 眼 81 ~ 103 
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图 2-19 机 器 人 眼球 未 端 位 移 曲 线 





图 2-20 眼球 位 移 变 化 三 维 图 
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图 2-21 各 关节 变量 变化 





图 2-22 机 器 人 眼 瞪 正 运动 学 坐标 系 


两 杆 间 的 位 姿 矩 阵 ， 根 据 参数 表 和 D-H 公式 可 得 


cA, 0 sb, 0 

0 0 -0 0 
vm sU cU, 

0 1 0 0 

0 0 0 1 
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c0, -s0, 0 a, *c6, 
s0. CO 0 a, *s6é 
2 zal Pe 2 2 2 
0 0 1 0 
0 0 0 1 
c0 0 -sh 0 
sO 0 CO 
ST = 3 3 
0 =i 0 a, 
0 0 0 1 
cô, 0 sO, 
sô, 0 -co 
iT - 4 4 
0 1 0 a, 
0 0 
| c0; -s0, 0 
SO cO 0 0 
5ST = 5 5 
1 a, 
0 1 





将 各 个 连 杆 矩阵 连 乘 得 到 s7 


721 122 723 Py 


of = 
731 732 T33 Pz 
0 0 0 1 
式 中 
ra =L (ce, #e, * e= ce * s, * s) * Cs FS, | =e + (Cc, * Cy ¥ s, =C FS) $C) * s 


Taj =[(s; * C, 米 C3 =S] * S, * s) * C4 十 Cl * s] xe + ( —S, *C, *¥ 8, —5, * 5, * c) * S3 


731 =(s, * C3 +C, * s) * C4 米 Cs + ( = S3 *S8, +C * C3 ) * S5 


To = -[(e * Cy * C3 一 Ci * sy * $3) 洲 C4 一 31 *s,] * 55 + ( =c] * Cy * $3, 一 Cl * s, * C3) * Cs 
ry = -[(s, * e, ¥C; 一 5 ks, * s) * C4 十 C1 * 5, ] * 5, + ( =s; X C, * S3 — S] * S3 * C3 ) * C 
Ta = — (Sp * C3 +C, * s3) * C, #55 + ( =S, * S3 +C, * C3) * C5 


T13 = (ci * C, 米 C3 =C] * S, * s) * 5, +5, * Cy 
723 =(s, X C, * C3 一 S| * Sy * s) * s4 — Ci * Cy 
T33 =(s, * Cz; +C * s) * s4 
Pr=l (ei $ Cy * C3 一 Cl * Sy * s) * s4 十 31 * C4 | * a; 十 
( —C, RC *® $3; —C, * $5 * C3 ) x a, +5, * A, +C * a, * Cy 
Py = -[(s, X C, Cz; — 5S, * S3 * s3) 洲 C4 十 Cl * 5, ] * S3 +( =S] *C, ¥ 8, 一 S| * Sy * C3 ) * Cs 
P.= - (s, * C3 +C, * s3) * C4 * Ss +( 7 * 8, FC * c) * Cs 


HEH c, =c0s0,(i=1, 2, 3, 4, 5); s; =sin0;(i=1, 2, 3, 4, 5) 
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于 是 可 得 眼球 作为 末端 执行 器 的 姿态 和 位 置 分 别 是 
P Te Ti Px 
Rr Ta Ta , P=] p, 
P: 


731 T32 T33 





机 器 人 有 眼 瞪 的 运动 仿真 与 眼球 运动 学 仿真 类 似 ， 可 得 如 图 2-23 所 示 模 型 。 





图 2-23 机 右 人 有 眼 瞪 运动 仿真 图 





其 他 仿真 与 以 上 两 种 仿真 类 似 ， 至 于 其 他 运动 部 位 都 较 眼 球 和 有 眼帘 运动 简单 ， 最 多 三 个 
串联 关节 。 


2.3 身躯 设计 


2.3.1 主要 研究 问题 


目前 ， 工 业 机 天 人 普遍 应 用 于 结构 化 环境 中 的 特定 作业 ， 因 此 ， 它 主要 采用 示 教 的 方 
法 ， 固 化 控制 程序 ， 以 保证 操作 具有 较 高 的 重复 精度 ， 但 与 此 同时 操作 能 力 和 与 人 协作 能 
受到 严格 的 限制 。 情 感 机 器 人 则 要 具有 和 良好 的 适应 性 和 自主 性 以 满足 不 同 环境 下 的 不 同 作 业 
要 求 ， 尤 其 需要 具有 与 人 安全 协作 的 能 力 ， 因 此 ， 情 感 机 器 人 腰 臂 机 构 的 研究 尤为 重要 。 

1. 机 构 综 合 

研制 情感 机 器 人 腰 臂 机 构 的 基本 出 发 点 是 实现 与 人 类 上 肢 相似 的 操作 功能 和 工作 空间 范 
围 ， 并 能 安全 可 靠 地 与 人 类 协作 ， 最 终 使 情感 机 器 人 在 各 种 环境 中 具有 高 度 的 灵活 性 、 自 主 
性 和 适应 性 。 腰 臂 机 构 综 合 是 实现 最 终 目 标的 重要 基础 ， 合 理 的 自由 度 配 置 是 实现 情感 机 絮 
人 操作 灵活 性 以 及 适应 人 类 日 常生 活 环境 的 重要 保证 。 长 期 以 来 ， 人们 一 直 致 力 于 机 器 人 机 
构 综 合 的 人 研究， 与 之 相应 的 运动 学 评价 标准 层出不穷 。 机 顺 人 的 机 构 综 合 普遍 遵循 下 列 
原则 : 

1) 具有 最 优 的 工作 空间 和 良好 的 通用 性 。 最 优 的 工作 空间 是 指 机 器 人 对 人 类 生活 环境 
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和 不 确定 环境 的 适应 性 ， 良 好 的 通用 性 是 指 完成 多 种 工作 任务 的 可 能 性 。 

2) 能 够 很 好 地 消除 奇异 位 置 。 奇 异 位 置 分 为 工作 空间 内 部 奇异 和 工作 空间 边界 奇异 ， 
采用 宛 余 自 由 度 机构 是 消除 工作 空间 内 部 奇异 位 形 的 有 效 方法 。 

3) 有 利于 避 开 障碍 物 。 安 全 避 开 工作 空间 内 部 的 障碍 物 是 保证 机 器 人 运动 灵活 性 的 重 
要 条 件 。 

4) 保证 结构 设计 合理 。 机 器 人 手臂 的 承载 与 自重 比 是 机 器 人 人 性 能 的 重要 评价 指标 之 
一 ， 机 器 人 手臂 关节 驱动 方式 和 驱动 装置 的 选择 对 手臂 自重 有 很 大 影响 ， 手 臂 的 自由 度 配 置 
决定 着 关节 的 驱动 方式 和 驱动 装置 的 选择 。 

2. 运动 学 问题 

机 器 人 运动 学 逆 解 问题 在 机 器 人 运动 学 及 控制 中 占有 重要 地 位 。 人 情感 机 器 人 腰 辟 机 构 作 
为 匈 余 自由 度 的 机 械 系 统 ， 其 运动 学 逆 问 题 非常 复杂 ， 要 建立 通用 算法 相当 困难 。 目 前 ， 常 
用 的 元 余 机 构 逆 运 动 学 求解 方法 有 Paul 提出 的 解析 法 、Fu K. S 提出 的 几何 法 、Milonkovic 
V. Huang 提出 的 迭代 法 、Dinesh Manocha 和 John. F. Canny 提出 的 符号 及 数值 方法 等 ， 其 中 ， 
迭代 法 较为 常见 ， 但 仍 存在 计算 量 大 、 计 算 结果 不 精确 等 问题 。 情 感 机 器 人 宛 余 手 辟 具 有 实 
现 光 滑 轨迹 、 回 避 奇 异 、 回 避 障 得 等 优点 ， 同 时 ， 也 存在 采用 迭代 法 求 近 似 逆 解 的 问题 。 机 
器 人 控制 的 目的 在 于 快速 准确 ， 采 用 人 迭代 法 求 近似 逆 解 给 情感 机 器 人 元 余 手 臂 的 实时 控制 带 
来 困难 ， 求 出 机 器 人 运动 学 逆 解 的 封闭 解 是 实现 机 器 人 实时 控制 的 重要 条 件 。P. Dahm 采用 
几何 方法 得 到 一 种 7-DOF 宛 余 手臂 的 封闭 解 ， 从 而 在 降低 计算 量 的 同时 提高 了 计算 精度 。 

3. 动力 学 问题 

机 器 人 动力 学 问题 主要 包括 机 器 人 动力 学 模型 的 建立 和 相关 实现 技术 的 研究 。 动 力学 模 
型 不 仅 可 以 用 来 计算 关节 的 驱动 力矩 ， 控 制 机 避 人 的 运动 ， 而 且 为 运动 规划 过 程 提供 了 重要 
依据 。 目 前 ， 常 用 的 动力 学 建 模 方法 包括 拉 格 朗 日 动力 学 方程 、 牛 顿 - 欧 拉 递 推动 力学 方程 
和 遍 恩 动力 学 方程 。 实 现 技 术 包 括 情 感 机 带 人 连续 稳定 行走 、 上 下 楼 梯 以 及 手 壁 最 佳 姿态 的 
实时 控制 技术 ; 识别 和 模仿 人 运动 状态 并 进行 机 右 人 运动 规划 和 轨迹 跟踪 的 技术 ; Blatt AA 
身 和 外 界 碰撞 监测 以 及 对 碰撞 等 干扰 的 自我 调节 技术 等 。 此 外 ， 多 传感器 的 信息 融合 技术 、 
机 器 人 控制 系统 开发 和 体系 结构 问题 都 需要 进行 更 加 深入 的 研究 。 

4, 双 展 运动 学 与 行为 研究 

情感 机 器 人 的 双 臂 协调 作业 需要 解决 运动 轨迹 规划 、 协 调控 制 算法 、 操 作 力 或 力矩 控制 
以 及 视觉 感知 与 作业 的 交互 等 问题 。 运 动 轨迹 规划 主要 实现 双 辟 作业 中 无 碰撞 条 件 下 的 路 径 
规划 、 不 同形 位 的 传 速 性 能 以 及 协调 运动 。 操 作 力 控制 主要 研究 手臂 不 同形 位 的 力学 性 能 ， 
TsunecYoshikawa，Sukhan Lee，Yoshio Yamamoto 和 Xiaoping Yun 等 人 利用 可 操作 度 和 力 的 可 
操作 度 指 标 对 双 臂 的 协调 作业 进行 了 评价 。 

近 几 年 来 , 仿 人 双 辟 机 器 人 成 为 智能 机 器 人 领域 的 又 一 研究 热点 。1997 F, REED 
究 了 两 个 SCARA 机 器 人 的 避 碰 问题 ， 但 没有 考虑 到 机 器 人 上 下 臂 的 碰撞 问题 ; 1999 年 ， 钱 
东海 等 运用 动态 规划 法 对 沿 特定 路 径 运动 的 双 辟 进行 时 间 最 优 轨迹 规划 ,但 其 讨论 并 不 是 针 
对 严格 意义 上 的 协调 运动 ; 2001 年 ， 陈 安 军 等 针对 双 臂 机 器 人 协调 运动 ， 给 出 了 基于 最 小 
载 答 分 配 的 关节 轨迹 规划 和 基于 最 小 关节 广义 驱动 力 的 轨迹 规划 ; 2002 年 ， 陈 峰 等 运用 主 、 
从 辟 理 论 ， 提 出 了 从 臂 根 据 主 辟 规划 好 的 轨迹 ， 进 行 碰撞 检测 ， 然 后 采用 人 工 智 能 中 的 A* 
搜索 算法 搜索 出 从 臂 的 最 优 无 磁 撞 轨迹 ，A“" 搜索 算法 不 断 利用 节点 发 生 带 产生 节点 ， 并 不 
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斯 利用 代价 函数 选择 从 起 始点 到 目标 节点 所 要 经 过 的 最 优 节 点 。 

日 本 本 田 技 研 公司 自 1986 年 开始 从 事情 感 机 器 人 的 研究 ， 主 要 解决 “自在 步行 ”控制 
和 起 立 与 坐 下 ， 招 手 致意 等 行为 。 

日 本 宝 制造 所 公司 研制 的 “梦想 神力 01”， 通 过 手机 可 以 遥控 该 机 器 人 为 客人 其 酒 。 

上 海 交 通 大 学 设计 的 双 臂 机 器 人 可 以 进行 倒 水 、 拧 螺钉 、 处 理 危 险 品 等 日 常 行为 。 

机 械 手 避 碰 超声 传感器 是 合肥 智能 机 械 研 究 所 的 科技 成 果 。 该 成 果 是 以 双 机 械 手 协调 运 
行 避 碰 为 背景 的 多 探头 超声 测 距 防 碰 系统 ， 主 要 面向 机 器 人 控制 专题 的 双 臂 协调 安全 而 设计 
的 ， 可 实现 对 作业 中 机 械 手 周围 物体 监测 、 识 别 、 预 警 等 功能 。 

此 外 ， 哈 尔 滨 工 业 大 学 、 国 防 科 技 大 学 、 清 华 大 学 、 北 京 航空 航天 大 学 等 高 等 院 校 和 研 
究 机 构 也 在 近 几 年 投入 了 相当 的 人 力 、 物 力 ， 进 行 智能 情感 机 器 人 的 研制 工作 。 

5. 7-DOF 仿 人 劈 控 制 系统 

随 着 机 器 人 技术 在 核 工 业 、 空 间 技术 及 科学 试验 等 特殊 领域 应 用 范围 的 不 断 拓 展 ， 复 杂 
的 作业 环境 对 机 器 人 灵活 性 、 可 操作 性 等 提出 了 更 高 的 要 求 。 非 元 余 机 械 臂 在 这 方面 无 法 满 
足 要 求 ， 而 七 自由 度 仿 人 臂 和 多 自由 度 灵巧 手 可 以 在 不 确定 的 复杂 环境 中 工作 ， 如 空间 站 及 
核电 厂 维护 、 核 武器 装配 、 放 射 性 手术 治疗 等 。 美 国 国家 航空 航天 局 的 研究 机 构 具 体 分 析 了 
太空 作业 的 具体 要 求 ， 决 定 在 空间 站 上 安装 七 自由 度 仿 人 手臂 和 多 自由 度 灵巧 手 ， 用 以 蔡 代 航 
天 飞机 上 的 六 自由 度 机 械 辟 完成 空间 站 的 建设 及 维护 、 与 航天 飞机 之 间 交 换 货 物 等 工作 。 除 此 
之 外 ， 加 拿 大 、 德 国 以 及 日 本 等 发 达 国 家 的 航天 机 构 都 在 积极 进行 相关 技术 的 研究 与 开发 。 

目前 , 仿 人 辟 和 多 自由 度 灵 巧 手 已 经 成 为 机 器 人 学 的 一 个 研究 方向 。 仿 人 手 及 仿 人 单 臂 
(以 下 简称 仿 人 臂 ) 力 至 于 仿 人 双 辟 一 体 机 器 人 的 研究 对 于 实现 核 工业 、 空 间 站 以 及 其 他 远 
程 遥 控 作 业 都 有 十 分 重要 的 意义 。 

自 1983 年 以 来 ，Robotics Research Corporation 一 直 致 力 于 7-DOF 仿 人 臂 的 研究 ， 先 后 
研制 开发 了 K-1207i、K-1607i 系列 仿 人 单 臂 和 KB-2017 FAOS, Hi AR E NASA 
等 许多 外 国 科 学 院 所 用 于 仿 人 臂 的 研究 。 这 些 仿 人 臂 控制 系统 用 计算 机 信和 号 系统 、 电 子 系统 
安装 在 控制 盒 内 ， 通 过 高 性 能 柔性 电缆 与 模块 相连 。 目 前 KB-2017 仿 人 双 辟 已 应 用 于 空间 
雷达 站 、 轨 道 替 换 单元 以 及 遥控 表面 检查 中 。 

日 本 MITI 机 械 工程 试验 室 研究 开发 了 JARM-10、JARM-25、JARM-100、JART-25 系列 
的 七 自由 度 仿 人 辟 。 

1997 年 ， 日 本 早稻 田 大 学 Sugano 实验 室 开 发 了 一 种 带 有 13-DOF 灵巧 手 的 仿 人 辟 
7- DOF MIA ARM。 该 机 械 臂 采用 了 一 种 被 称 作 MIA (Mechanical Impedance Adjuster) 的 机 
械 元 件 ， 这 种 元 件 具 有 高 度 的 顺从 性 ( High compliance) ， 因 此 ， 由 它 构成 的 机 械 手 可 用 在 
人 与 机 械 臂 协调 工作 的 环境 中 。 

倍 受 关注 的 是 ， 由 NASA 出 资 6 亿美 元 ， 加 拿 大 MD Robotics 等 多 家 公司 联合 研制 了 用 
于 空间 站 的 移动 式 服务 系统 (MSS) 。 该 系统 2001 年 正式 起 用 ， 主 要 用 于 空间 站 的 建设 及 维 
护 、 与 航天 飞机 之 间 的 交换 货物 等 工作 。 该 系统 由 专用 灵巧 手 (SPDM) ， 移 动 基础 系统 
(MBS) 及 空间 站 遥控 操作 臂 系统 (SSRMS) 三 部 分 组 成 。 其 中 SSRMS 为 7-DOF 仿 人 辟 
(Canadarm2 ) ， 与 1981 年 投入 使 用 的 6- DOF 机 械 辟 (Canadarm) 相 比 ，Canadarm2 的 体积 
更 大 、 智 能 程度 更 高 。 它 能 够 完成 Canadarm 无 法 完成 的 工作 ， 实 现 像 蛇 一 样 运动 到 空间 站 
的 任意 部 位 。 
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此 外 ，Schilling Development Incorporate 等 多 家 公司 ， 针 对 极限 作业 下 的 远程 遥控 系统 研 
制 出 一 种 七 自由 度 仿 人 臂 。 该 仿 人 臂 的 控制 系统 设计 具有 相当 的 开放 性 。 在 仿 人 臂 的 研制 方 
面 ， 美 国 、 日 本 和 加 拿 大 走 在 前 列 ， 英 国 、 瑞 典 、 挪 威 、 澳 大 利 亚 等 国家 也 都 在 开展 这 项 技 
术 的 研究 ， 我 国 关于 宛 余 度 机 械 臂 技术 的 研究 起 步 较 晚 。1993 年 ， 北 京 航空 航天 大 学 研制 
了 BUAA-RR 型 7-DOF 仿 人 辟 样 机。1996 年 哈尔滨 工业 大 学 与 674 厂 联 合 研 制 了 用 于 自行 
火炮 弹丸 自动 装填 作业 的 1SSHP-1 机械 臂 ， 它 是 七 个 自由 度 (其 中 一 个 为 移动 关节 ) 机 械 
臂 ， 并 带 有 三 个 自由 度 机 械 手 ， 可 在 较 小 的 装填 作业 空间 里 进行 作业 。 

6. 外 观 与 结构 优化 

随 着 科学 技术 的 发 展 ， 新 能 源 、 新 材料 不 断 涌 现 ， 减 小 尺寸 、 减 轻重 量 及 外 观 拟人 化 成 
为 仿 人 机 器 人 设计 的 重要 课题 。 作 为 一 个 多 关节 多 自由 度 的 复杂 系统 ， 在 实现 预期 功能 的 前 
提 下 ， 机 器 人 必须 有 一 个 结构 紧凑 、 配 置 合理 的 机 械 本 体 。 本 田 公 司 的 P2 机 器 人 身高 
1820mm， 体 重 210kg，P3 机 器 人 的 身高 1600mm， 体 重 130kg， 而 ASIMO 的 身高 仅 为 
1200mm， 体 重 降 至 45kg。 机 器 人 主要 包括 电源 系统 、 传 动 系统 、 传 感 系统 及 控制 系统 四 部 
分 。 为 了 便于 机 器 人 的 大 范围 作业 ， 电 源 系 统 通常 采用 自身 携带 直流 电池 方式 ， 由 于 电源 占 
机 器 人 自重 的 很 大 部 分 ， 根 据 调 节 机 器 人 重心 和 优化 结构 的 需要 ， 常 把 电池 置 于 机 器 人 胸部 
或 移动 车 体内 。 传 感 系统 包括 关节 传感器 、 姿 态 传感器 和 力 传感器 ， 其 中 ， 行 程 开关 和 光电 
编码 器 组 成 关节 传感器 检测 关节 转角 ， 实 现 关节 的 位 置 与 速度 控制 。 倾 角 仪 具有 体积 小 、 重 
量 轻 的 特点 ， 作 为 姿态 传感器 进行 姿态 平衡 控制 ， 通 常 倾 角 仪 置 于 机 器 人 重心 附近 比较 便于 
控制 。 加 速度 传感器 和 腕 部 六 维 力 传感器 用 于 检测 关节 受 力 情况 。 情 感 机 器 人 外 观 和 结构 的 
优化 无 疑 对 它 的 商品 化 以 及 服务 于 人 类 日 常生 活 具 有 重要 意义 。 


2.3.2 腰 辟 机构 的 设计 
腰部 运动 主要 有 两 个 自由 度 : 弯 腰 和 转 腰 ， 弯 腰 的 运动 范围 大 约 是 0。 ~ 30。， 转 腰 的 运 


























动 范围 大 约 是 +45"， 腰 部 自由 度 的 实现 都 是 由 直流 电动 机 驱动 。 腰 部 零件 主要 有 轴承 座 、 
轴承 、 轴 、 支 架 和 板 组 成 ， 材 质 主要 选用 Q235 或 45 号 钢 。 腰 部 的 实物 如 图 2-24 所 示 。 


ym 7 EA] A a ` 
a à f T r = 二 

















到 2-24 腰部 的 实物 机 械 结构 
a) 腰部 正面 b) 腰部 侧面 ce) 腰部 背面 
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1. BRR, SPAHR KM 

弯 腰 机 构 由 一 个 直流 电机 了 驱动 ， 由 于 该 直流 电机 的 额定 扭矩 是 2N. m， 而 根据 计算 整 
个 机 器 人 要 完成 0° ~30° 的 弯 腰 动作 需要 的 扭矩 约 为 7N. m， 因 此 采用 了 1:4 的 齿轮 减速 装 
置 来 增 大 扭矩 。 轴 承 的 选用 是 为 了 减 小 摩擦 力 和 保证 精度 。 在 0" 和 30" 两 个 位 置 由 两 个 传 感 
器 限制 讨 腰 的 幅度 ， 这 是 从 电路 方面 做 的 限 位 ， 但 是 考虑 如 果 电 路 上 出 现 问题 ， 有 可 能 对 机 
械 结构 造成 破坏 ， 因 此 还 有 两 个 机 械 限 位 零件 来 防止 腰部 转 过 0。~ 30"。 

转 腰 机 构 也 是 由 一 个 直流 电机 驱动 ， 轴 承 的 选用 减 小 了 摩擦 力 ， 即 使 再 考虑 转动 惯量 ， 
也 不 需要 减速 即 可 驱动 整个 上 身 的 转动 。 转 动 的 范围 在 +45°， 通 过 安装 在 底板 上 的 传 感 带 
来 控制 转动 的 位 置 。 同 样 ， 为 防止 电动 机 转 过 对 机 械 结 构 的 破坏 ,也 采取 了 机 械 限 位 ， 
在 +45° 处 安装 了 两 个 限 位 零件 。 

2. ARF AF HE Hh AF HE 

研究 情感 机 器 人 手臂 首先 需要 了 解 人 体 手臂 的 机 
构 特 征 。 人 体 的 手臂 由 肩 关 节 、 大 臂 、 肘 关节 、 小 
臂 、 腊 关节 、 手 等 几 部 分 组 成 。 如 图 2-25 所 示 ， 手 
臂 的 运动 是 靠 肩 关节 、 肘 关节 和 腕 关节 的 活动 以 及 肌 
肉 的 牵引 运动 共同 完成 的 。 对 于 人 体 手 臂 的 机 构 学 特 
征 ， 在 仿生 学 研究 中 存在 两 种 观点 : 

1) 美国 的 Mark E. Rosheim 将 人 类 手臂 归结 》 

JAS ERR BHAT (Ball-and- Socket Joint), HA = 
个 转动 自由 度 ,， 能 实现 届 伸 、 外 展 内 收 、 旋 转 
(Pitch- Yaw- Roll) 等 运动 ， 其 运动 参数 是 : 前 驱 90°、 图 2-25 ”人体 手臂 关节 构成 简 图 
后 伸 35°; 外 展 90。、 内 收 45°; 内 旋 45°、 外 旋 45°; 
肘 关 节 属 于 单 轴 关 节 ， 具 有 一 个 自由 度 ， 能 实现 屈伸 运动 ， 屈 伸 幅 度 为 133" ， 其 抗 拉 伸 能 
力 为 85 ~230kg; 腕 关节 由 搁 腕 关节 和 腕 骨 关 节 组 成 ， 这 两 个 关节 在 结构 上 彼此 独立 但 在 运 
动 中 紧密 相连 ， 因 此 被 视 为 一 个 关节 ， 具 有 三 自由 度 ， 手 腕 在 Roll- Pitch- Roll 和 Pitch- Yaw- 
Roll 两 种 机 构 运 动 模 型 ， 能 实现 屈伸 、 外 展 内 收 和 旋转 等 运动 ， 届 和 伸 幅 度 各 为 85°* ， 外 展 
90°. A 45°, Abe 45°, 、 外 旋 45°, 

2) FAS Aaa ie TEESE A Se EE UDO A 7 自由 度 手臂 是 由 3 自由 度 肩 关节 ，2 A 
由 度 肘 关节 和 2 自由 度 腕 关节 组 成 。 当 然 ， 除 了 上 述 基 本 自由 度 外 ， 巾 于 肌肉 的 牵引 作用 ， 
人 的 手臂 具有 更 多 的 自由 度 ， 因 此 具有 高 度 的 运动 灵活 性 。 根 据 中 国人 体 测量 值 的 有 关 资 料 
表明 ， 人 体 手臂 的 几何 尺寸 构成 是 

上 有 上肢: 身高 ~0. 452:1 
KS: 小 辟 : FÆ ~ 1. 42: 1. 2:0. 38 

从 机 构 学 原理 上 分 析 ， 人 体 手臂 是 一 个 典型 的 串联 机 构 和 并 联机 构 的 结合 体 ， 其 中 连接 
诊 关 节 由 六 组 肌肉 构成 ， 其 中 四 组 是 基本 驱动 ， 构 成 一 个 驱动 器 元 余 的 三 自由 度 并 联机 构 ， 
驱动 肩 关 节 的 三 个 方向 转 劲 ; 腕 关 节 的 驱动 肌肉 为 前 臂 肌 的 前 群 和 后 群 ， 均 起 于 找 骨 和 尺骨 
构成 并 联机 构 ， 实 现 腕 部 的 三 自由 度 运 动 ; 而 肘 关 节 和 户 关 节 、 腊 关节 一 起 构成 串联 机 构 形 
式 的 人 体 手 臂 ; 因此 ， 人 体 手 臂 既 有 较 大 的 工作 空间 (串联 机 构 的 优点 ) 又 具有 较 高 的 结 
构 刚 度 (并 联机 构 的 优点 ) 。 人 体 手 臂 的 特殊 结构 使 手臂 在 运动 中 具有 良好 的 动态 性 能 。 运 
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动 中 手臂 的 刚度 较 小 ， 当 人 体感 觉 到 外 界 的 干扰 
时 ， 可 以 会 迅速 调整 手臂 的 运动 学 、 动 力学 状态 ， 
使 操作 顺利 进行 ， 而 持 重 时 手臂 的 刚度 较 大 ， 以 
保持 稳定 的 状态 。 

3. 手臂 机 构 的 设计 实现 

本 例 中 的 手臂 按照 人 体 的 比例 和 自由 度 配 置 
进行 设计 ， 共 有 10 个 自由 度 ， 每 只 手臂 各 有 5 个 
自由 度 ， 分 别 是 : 肩 部 向 前 抬 手 臂 ( 舵 机 1 了 驱 | 
动 )、 大 辟 转 动 (AVL 2 驱动 ) 、 肩 部 侧 向 抬 手 壁 
(能 机 3 驱动 ) 、 肘 部 弯曲 〈 通 机 4 驱动 ) 、 小 臂 
转动 (NOLS 驱动 )。 手 辟 的 三 维 图 如 图 2-26 所 
AR, FE HH 10 个 舵 机 了 驱动 ， 舵 机 全 部 选用 
HG14- M， 舵 机 的 扭矩 为 14kg > em， 经 计算 满足 
手臂 运动 到 各 个 位 置 的 最 大 扭矩 。 考 虑 减轻 手臂 的 重量 ， 零 件 所 选材 料 均 为 硬 铝 。 





图 2-26 手臂 的 三 维 图 


2.4 手臂 设计 


机 器 人 的 轨迹 泛 指 工业 机 器 人 在 运动 过 程 中 的 运动 轨迹 ， 即 运动 点 的 位 移 、 速 度 和 加 速 
度 。 机 器 人 手臂 在 作业 空间 要 完成 给 定 的 任务 ， 手 臂 运 动 必须 按 一 定 的 轨迹 进行 ， 轨 迹 的 生 
成 一 般 是 先 给 定 轨迹 上 的 若干 个 点 ,将 其 经 运动 学 反 解 映射 到 关节 空间 ， 对 关节 空间 中 的 相 
应 点 建立 运动 学 方程 ， 然 后 按 这 些 运 动 方 程 对 关节 进行 插值 ， 这 个 过 程 称 为 轨迹 规划 。 运 动 
轨迹 是 机 器 人 系统 工作 的 依据 ， 它 决定 了 系统 的 工作 方式 和 效率 ， 机 器 人 系统 要 完成 某 种 操 
作 作业 ， 就 必须 对 其 运动 轨迹 进行 规划 ， 因 此 研究 机 器 人 系统 运动 轨迹 的 规划 尤为 重要 。 

对 情感 机 器 人 的 手臂 进行 轨迹 规划 ， 需 要 了 解 它 在 起 始点 和 目标 点 的 状态 ， 即 坐标 系 的 
起 始 值 和 目标 值 。 在 此 ， 用 “点 ”这 个 词 表 示 坐 标 系 的 位 置 和 姿态 〈 简 称 位 姿 ) 。 对 于 另外 
一 些 比较 复杂 的 姿态 ， 如 敬礼 、 传 递 物品 、 手 臂 跨 过 障 但 物 等 ， 不 仅 要 规定 机 械 手 的 起 始点 
和 终止 点 ， 而 且 要 指明 两 点 之 间 的 若干 中 间 点 〈 称 路 径 点 ) 。 必 须 确保 机 名 人 手臂 沿 特定 的 
路 径 运动 (MEAR). 

本 方 研究 的 主要 内 容 是 机 器 人 实现 人 类 的 各 种 姿态 和 动作 ， 在 此 我 们 以 情感 机 器 人 的 手 
辟 避 障 为 例 进 行 分 析 、 研 究 及 仿真 。 图 2-27 为 情感 机 器 人 跨越 障碍 物 的 运动 轨迹 模型 图 。 


2.4.1 磁 撞 分 析 的 简化 


情感 机 带 人 手臂 在 运动 过 程 中 必然 要 与 周围 环境 以 及 工作 对 象 发 生 联 系 ， 由 于 系统 中 环 
境 对 工作 对 象 的 约束 ,使 手 壁 在 空间 运动 过 程 中 会 与 其 他 物体 或 自身 相互 发 生 碰撞 。 因 此 在 
轨迹 规划 时 ， 必 须 考虑 环境 对 机 器 人 的 影响 ， 从 而 规划 出 一 条 不 发 生 碰撞 的 工作 轨迹 。 本 章 
基于 运动 学 逆 解 建立 的 基础 上 ， 对 双 辟 避 障 问题 进行 了 分 析 研 究 ， 引 入 了 检验 可 能 相 碰 的 条 
件 ， 建 立 了 碰撞 干涉 判别 模型 。 为 建立 该 模型 ， 将 手臂 的 各 个 关节 简化 为 连 杆 ， 同 样 ， 对 于 
环境 中 的 障碍 物 也 要 进行 简化 处 理 。 

现 规定 : 左右 辟 参 量 分 别 用 1,，r 表示 ， 肩 关节 坐标 为 $， 小 臂 关节 坐标 为 柬 ， 肘 关节 坐 
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9) 


图 2-27 ”情感 机 器 人 手臂 避 障 的 运动 轨迹 
a) 手臂 的 初始 位 置 b) 手臂 的 避 障 位 置 c) 手臂 跨 过 障碍 物 的 位 置 











PAE; SEBRA, A. ABERRI N O-XYZ, S-X YZ, S-XY Z; 双 辟 距离 
0.2m。 以 此 为 依据 建立 如 图 2-28 所 示 的 双 臂 机构。 
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图 2-28 双 臂 机 构 简 图 
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2.4.2 MAMERE 


把 在 左右 辟 上 的 任意 两 辟 杆 简化 为 空间 相 错 的 两 线段 LL,,、R,R;,,， 如 图 2-29 所 示 ， 
设 此 两 杆 在 公共 坐标 系 中 的 方向 数 分 别 为 (mi， nn， 有)、(m,，n,，1,)， 则 可 得 两 线段 的 最 
短 距 离 d 为 


1 M My 


+ (Zz -z,) 





L m 
L, . 











ny 
(x =x,) +V) 
n, 7 r h 
d= (2-1) 











图 2-29 双 臂 杆 的 空间 相 错 线段 避 碰 模型 








其 中 ，(%i ,Yi 有) 为 端点 工 或 ,在 公共 坐标 系 中 的 坐标 。(x,，y,，z,) 为 端点 RR 或 
R 在 公共 坐标 系 中 的 坐标 。 给 出 不 碰 的 距离 为 6， 则 不 碰 条 件 为 4d >6。 但 按 此 条 件 控制 不 
碰 会 导致 条 件 过 于 茄 刻 甚至 无 法 满足 。 相 碰 只 可 能 发 生 在 图 2-29 中 的 第 一 种 情况 。 因 此 检 
验 可 能 相 碰 的 条 件 为 
( [CL | 十 [CLi, D/Z [LL | =1 
(CR + |C,R DZIRR |=1 
由 图 2-29 所 示 机 构 可 知 ， 可 能 发 生 相 碰 的 杆 件 组 为 大 、 小 臂 杆 臂 的 组 合 ， 有 四 组 : 
S,E,-S,E,, E,W, -E W,, SE, -E,W,, E\W,-S,.E,, 设 各 杆 件 组 合 下 保证 不 碰 的 最 小 距离 分 
别 为 6, 、6,、6;、6,。 


2. 4.3 ”算法 的 流程 图 


根据 碰撞 模型 及 情感 机 融 人 手臂 的 运动 学 逆 解 可 以 得 到 双 臂 避 障 算法 的 流程 图 ， 如 图 
2-30 所 示 。 


2.4.4 手臂 避 障 仿真 


双 臂 间 协 调 避 障 是 机 器 人 研究 的 一 个 热点 ， 本 节 基 于 前 几 节 双 臂 避 障 模型 及 理论 的 基础 
上 ， 以 五 自由 度 情 感 机 器 人 的 双 臂 为 例 ， 使 机 器 人 双 臂 进行 交叉 运动 。 本 文 规定 双 臂 的 右 臂 
为 主 臂 ， 左 臂 为 从 臂 ， 主 臂 具 有 较 高 的 运动 优先 权 。 给 定 机 器 人 的 左右 臂 各 自 起 点 、 目 标 
点 ， 规 划 出 机 器 人 双 臂 避 障 运动 轨迹 。 避 障 算法 首先 判断 主 臂 和 从 臂 在 各 自 进 行 作 业 时 是 否 
发 生 碰撞 ， 若 发 生 碰撞 ， 则 使 具有 优先 运动 规划 权 的 主 辟 先 完成 规划 动作 ， 然 后 从 臂 把 主 避 
作为 障碍 物 处 理 ， 并 规划 出 一 条 无 碰撞 的 轨迹 。 对 机 器 人 双 臂 未 采用 避 障 算法 和 采用 避 障 算 
法 分 别 进行 仿真 ， 通 过 仿真 比较 验证 避 障 算法 的 可 行 性 。 


(2-2) 
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WAEHERE EN LT 
矢量 、 运 行 时 间 上 和 时 间 间 隔 Ar 


求 得 未 考虑 避 磁 的 OH 
给 定 各 杆 件 组 合 保证 不 磁 的 最 小 距离 1、5,、53、54 
















求 得 左右 臂 S、E、W 三 点 在 基 坐 标 系 中 的 坐标 值 以 及 各 壁 杆 
的 方向 矢量 ， 由 此 可 得 到 左右 辟 各 线段 间 的 最 短 距离 4 


用 式 (2-2) 找 出 可 能 相 碰 的 臂 杆 组 合 ， 并 计算 4-6 得 到 最 小 值 


REN, d=(d—dj. At 不 发 生 碰撞 ， 输 出 未 考虑 碰撞 
输出 修正 解 的 逆 运 动 学 解 


结束 





















图 2-30 双 臂 避 障 算法 的 流程 图 


在 手臂 运动 学 研究 的 基础 上 ， 以 五 自由 度 手 辟 ( 双 臂 共 十 个 自由 度 ) 为 例 进 行 仿真 。 
以 图 2-28 所 示 坐 标 系 及 图 2-31 所 示 起 始点 及 目标 点 进行 计算 ， 右 臂 起 始点 4 ( -376，0， 
-125) 到 目标 点 4，( -270，100，25); 左 辟 起 始点 B，( -376, 0, 125) 到 目标 点 B, 
( -270，100，-25)。 由 此 可 得 4 4, Bi, B, 的 位 姿 矩 阵 为 





1 0 0 -376 1 0 0 -376 
010 0 010 0 
Talo o 1 -135 Ta =l o 1 125 
000 1 000 1 
-0.320 -0.908 0.269 -270 -0.570 -0.682 0.458 -270 
7 | -0.089 -0.254 0.963 100 | „ | 0 -0.557 0.830 100 
“| 0.943 0.332 0 125 ”| 0.821 0.474 0.318 -125 
0 0 0 1 0 0 0 1 





右 臂 是 主 辟 ,具有 较 高 运动 优先 权 ， 故 而 从 A, 运动 到 A, 不 需 采 用 避 障 算法 ， 而 左 臂 是 
MWF, HB 运动 到 B,， 关 方 角速度 不 大 于 +90°/s， 仿真 时 间 为 5s， 采 样 时 间 为 0. 5s。 
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图 2-31 轨迹 规划 的 起 始点 及 目标 点 
a) 起 始点 b) 目标 点 


计算 出 大 臂 在 公共 坐标 系 中 的 方向 数 为 

AKF ( -0.963，0，0. 269) ; 左 大 臂 ( -0.963, 0, 0.269); 

右 小 辟 〈( -0.478，-0.496，0.134); 左 小 辟 ( -0.478, 0.867, 0.134), 

按照 式 (2-1) 进行 计算 可 知 ， 大 臂 杆 不 会 相 碰 而 小 臂 杆 已 经 碰撞 ， 现 在 已 找 出 相 碰 杆 
组 合 ， 然 后 进行 输出 修正 。 

根据 避 障 算法 的 流程 将 修正 解 返 回 计 算 ， 由 于 右 辟 是 主 臂 ， 只 计算 左 小 臂 的 方向 数 为 
( -0.963，0，0.269)， 双 小 臂 不 碰 的 最 小 距离 6 =0.3m， 经 修正 计算 后 的 小 辟 杆 直接 最 短 
距离 满足 d=0.455 >6， 因 此 不 发 生 碰 撞 ， 输 出 碰撞 的 运动 学 道 解 。 将 所 求解 应 用 Origin7 
软件 仿真 可 以 得 出 关节 角度 的 变化 曲线 。 

Origin? 具有 两 大 类 功能 : 数据 分 析 和 绘图 。 数 据 分 析 包 括 数 据 的 排序 、 调 整 、 计 算 、 
统计 、 频 谱 变 换 、 曲 线 拟 合 等 各 种 完善 的 数学 分 析 功 能 。 准 备 好 数据 后 ， 进 行 数据 分 析 时 ， 
只 需 选 择 所 要 分 析 的 数据 ， 然 后 再 选择 响应 的 菜单 命令 就 可 以 完成 其 数学 分 析 过 程 。Origin 
的 绘图 是 基于 模板 的 ，Origin 本 身 提 供 了 几 十 种 二 维 或 三 维 绘图 模板 而 且 人 允许 用 户 自 己 定制 
模板 。 绘 图 时 ， 只 要 选择 所 需要 的 模板 便 可 以 。 用 户 可 以 自 定义 数学 函数 、 图 形 样式 和 绘 
模板 ; 可 以 和 各 种 数据 库 软 件 、 办 公 软 件 、 图 像 处 理 软件 等 方便 地 连接 ; 可 以 运用 C 等 高 
级 语言 编写 数据 分 析 程 序 ， 还 可 以 使 用 内 置 的 Lab Talk 语言 编程 等 。 

通过 Origin7 绘图 是 将 复杂 的 计算 数据 以 图 线 的 绘图 形式 展现 出 来 ， 有 利于 我 们 对 避 障 
算法 进行 分 析 与 研究 。 我 们 先 将 运动 学 逆 解 数据 导入 该 软件 ， 然 后 通过 软件 输出 我 们 所 需要 
的 输入 、 输 出 图 线 。Origin7 软件 界面 如 图 2-32 所 示 。 

为 了 求 得 在 关节 空间 中 形成 的 轨迹 ， 我 们 首先 用 运动 学 反 解 将 路 径 点 转换 成 关节 矢量 角度 
值 ， 然 后 对 每 个 关节 拟 合 一 个 光滑 函数 ， 在 满足 所 要 求 的 约束 条 件 下 ， 可 以 选取 不 同类 型 的 关 
节 插 值 函 数 ， 以 生成 不 同 的 轨迹 。 和 常用 的 插 补 算法 有 线性 插 补 、 分 段 插 补 及 多 项 式 插 补 等 。 

线性 插 补 会 使 线性 插值 关节 在 起 点 和 终点 的 速度 和 加 速度 不 连续 ， 运 动 不 平稳 ， 且 加 速 
度 无 穷 大 ， 显 然 在 两 端 会 造成 刚性 冲击 。 抛 物 线 分 段 插 补 可 以 保证 起 点 和 终点 的 速度 平稳 过 
渡 ， 从 而 使 整个 轨迹 上 的 位 置 和 速度 连续 ,但 又 出 现 了 起 点 和 终点 加 速度 不 连续 的 情况 。 因 
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图 2-32 Origin? 软件 界面 
此 ， 必 须 建 立 一 个 五 次 多 项 式 (2-3) 进行 插值 即 可 以 实现 系统 的 平稳 运动 。 


0,=a, ta,tt+a,t +a,t° +a,t* +a,0° (2-3) 

如 果 未 采用 避 障 算法 ， 则 右 辟 和 左 辟 都 将 按照 起 始点 到 目标 点 的 运动 轨迹 进行 ， 那么 
左 、 右 壁 同时 到 达 目 标点 位 置 后 就 会 产生 左 、 右 臂 小 臂 杆 相 碰撞 的 情况 ， 左 、 右 臂 末 端 位 置 
姿态 构 型 如 图 2-33a 所 示 。 计 算出 左 臂 的 关节 角度 变化 曲线 如 图 2-34a 所 示 。 

如 果 采 用 避 障 算法 时 ， 布 臂 是 主 臂 ， 右 臂 从 起 始点 运动 到 目标 点 仍然 按照 预定 的 运动 轨 
迹 进行 ， 而 左 小 臂 是 从 臂 ， 则 会 绕 开 右 小 臂 到 达 目 标点 位 置 ， 左 、 右 臂 末 端 位 置 姿态 构 型 如 
2-33b 所 示 。 计 算出 的 左 臂 的 关节 角度 变化 曲线 如 2-34b 所 示 ， 经 比较 可 知 避 障 后 的 左 臂 关 
节 1、3、4 会 与 未 避 障 时 的 关节 角度 有 明显 改变 。 











a) 
图 2-33 ”末端 姿态 构 型 仿真 结果 














a) 未 采用 避 障 算法 得 到 的 仿真 结果 





46 





图 2-33 ”末端 姿态 构 型 仿真 结果 (BE) 

















b) 采用 避 障 算法 得 到 的 仿真 结果 
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图 2-34 左 辟 的 关节 角度 变化 曲线 
a) 未 采用 避 障 算法 得 到 的 关节 角度 变化 曲线 b) 采用 避 障 算法 得 到 的 关节 角度 变化 曲线 
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2.4.5 优点 及 发 展 趋 势 


关于 机 器 人 手臂 避 障 运动 轨迹 规划 的 研究 开展 已 有 十 几 年 的 时 间 ， 其 间 国 内 外 学 者 进行 
了 大 量 的 研究 ， 开 发 的 方法 主要 有 C 空间 法 、 人 工 势 力 场 法 等 基础 性 研究 ， 他 们 主要 是 针 
对 单 臂 机 器 人 和 静态 障碍 物 的 情形 。 

随 着 工业 、 科 研 的 发 展 ， 作 业 任 务 的 复杂 性 和 智能 性 不 断 提 高 ， 单 臂 机 器 人 已 经 不 能 满 
足 人 们 的 需要 ,许多 实际 工作 ,往往 需要 用 双 辟 机 器 人 相互 协调 、 相 互 配合 去 完成 。 利 用 双 
臂 机 器 人 协调 作业 的 场合 很 多 ， 如 搬运 、 传 输 、 装 配 等 复杂 工作 。 但 双 臂 机 器 人 不 是 简单 地 
把 两 个 单 人 臂 机 器 人 组 合 在 一 起 ， 而 是 作为 一 个 独立 的 机 融 人 系统 ， 双 臂 之 间 存 在 着 很 深 的 协 
调 关 系 ， 一 个 臂 的 任何 运动 都 会 影响 到 另外 一 个 臂 ， 所 以 在 做 双 臂 机 器 人 的 工作 空间 分 析 、 
轨迹 规划 、 运 动 控 制 等 时 ， 必 须 把 双 辟 统筹 起 来 一 起 考虑 。 

机 带 人 双 臂 避 障 运动 规划 通常 分 路 径 规划 和 轨迹 规划 两 级 来 进行 。 双 臂 在 做 无 碰撞 路 径 
规划 时 ， 为 简化 算法 ,通常 只 考虑 工作 空间 中 的 几何 信息 ， 并 假定 各 关节 具有 无 穷 大 的 加 速 
度 ， 各 关节 只 具有 零 和 极限 值 两 种 速度 状态 ， 而 这 在 机 需 人 控制 中 通常 难以 实现 ， 故 路 径 规 
划 后 ， 需 进行 轨迹 规划 。 

我 们 所 制作 的 机 器 人 是 情感 机 咒 人 ， 目 的 是 为 模拟 情感 类 的 各 种 动作 、 姿 态 ， 如 敬礼 、 
指示 、 手 臂 挥 动 、 传 递 物品 等 。 因 此 ， 在 针对 机 器 人 的 双 臂 避 障 上 无 需 按照 传统 的 双 臂 避 障 
控制 方式 。 在 对 双 臂 机 器 人 的 避 障 协调 控制 上 ， 我 们 提出 了 主 从 臂 控 制 方法 ， 即 从 臂 根 据 主 
臂 的 位 置 、 速 度 和 力 信息 ， 规 划 和 调整 自己 的 运动 。 相 比 非 主 从 手臂 控制 规划 更 为 简单 、 精 
确 ， 运 算 起 来 更 为 快捷 ， 而 且 能 完全 满足 人 类 的 各 种 姿态 动作 。 

根据 目前 国内 外 机 器 人 手臂 研究 发 展 趋势 ， 今 后 所 要 解决 的 主要 问题 主要 包括 单 臂 机 器 
人 如 何 回避 动态 障碍 物 ， 双 臂 机 器 人 如 何 采用 局 部 优化 和 全 局 优化 相 结 合 的 方法 来 协调 避 碰 
等 。 此 外 ， 利 用 神经 网 络 进行 轨迹 规划 也 是 目前 机 器 人 手臂 轨迹 规划 的 一 个 重要 方向 ， 由 于 
神经 网 络 是 非 线性 映射 ， 具 有 能 够 通过 学 习 进 行 训练 以 及 自 适应 的 特点 ， 使 其 在 机 器 人 的 轨 
迹 规划 问题 上 做 到 具有 简化 计算 、 快 速算 法 、 高 精度 逼近 等 特点 。 


E 4 起 


2-1 情感 头 部 机 器 人 设计 的 步骤 一 般 有 哪 几 部 分 ? 
2-2 ”表情 机 器 头 的 机 械 结构 包括 哪儿 个 主要 部 分 ? 
2-3 试用 matlab 软件 中 的 robot tools 工具 箱 进 行 表情 机 需 头 眼帘 的 运动 学 仿真 。 
2-4 手臂 结构 的 自由 度 有 哪 几 个 ? 
2-5 双 臂 避 障 轨迹 规划 的 优点 及 发 展 趋势 是 什么 ? 
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第 3 童 表情 控制 模式 








人 类 的 表情 分 为 自然 语言 和 形体 语言 两 类 。 面 部 表情 是 形体 语言 的 一 部 分 ， 既 是 人 们 交 
往 的 一 种 手段 ， 也 是 情绪 表达 的 一 种 方式 。 在 人 类 交往 过 程 中 ， 言 语 与 表情 经 常 是 相互 配合 
的 。 相 关 研 究 证 明 ， 表 情 比 言语 更 能 显示 情绪 的 真实 性 。 有 时 人 们 能 够 运用 言语 来 掩饰 或 否 
定 其 情绪 体验 ， 而 表情 却 往 往 掩饰 不 住 内 心 的 体验 。 情 绪 作 为 一 种 内 心 体验 ,一旦 产生 ， 通 
常会 伴随 相应 的 非 言语 行为 ， 如 面部 表情 和 身体 姿势 等 。 心 理学 家 研究 发 现 ， 在 人 类 进行 会 
话 交 流传 递 信息 时 ， 依 靠 说 话 人 的 表情 所 得 到 的 信息 要 比 从 说 话 内 容 和 语调 中 所 得 到 的 信息 
比重 要 大 很 多 ， 由 此 可 见 ， 表 情 在 人 类 交往 活动 中 起 到 了 重要 的 作用 。 同 样 ， 在 人 类 与 机 器 
人 交互 过 程 中 ， 也 需要 从 机 器 人 的 面部 表情 得 到 信息 ， 因 此 研究 情感 机 器 人 就 必须 研究 机 器 
人 的 面部 表情 控制 模式 。 

在 第 2 章 中 我 们 提 到 过 ， 如 果 想 要 机 器 人 产生 类 人 的 表情 ， 一 般 有 两 个 方向 ， 我 们 通常 
采用 第 一 个 方向 ， 即 面部 动作 编码 系统 (Facial Action Coding System, FACS), Fl 3-1 所 示 
为 采用 FACS 对 情感 机 器 人 操作 ， 使 之 表现 出 慎 怒 、 厌 恶 、 臣 惧 、 高 兴 、 悲 伤 和 惊奇 的 六 大 
表情 的 截图 ， 具 体 的 实现 方案 在 本 章 进 行 详细 讲解 。 




















悲伤 

















] FACS 操作 的 六 种 基本 表 








3.1 面部 动作 编码 系统 


3.1.1 概述 
从 20 世纪 70 年 代 初 开始 ， 涌 现 了 大 量 关 于 面部 表情 和 面部 动作 编码 系统 的 研究 ， 其 中 
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美国 心理 学 家 艾 克 曼 在 20 世纪 70 年 代 末 先后 创立 了 “面部 表情 编码 技术 CAST)” 和 
“面部 动作 编码 系统 (FACS)”。FACS 是 迄今 为 止 最 为 详尽 、 最 为 精细 的 面部 运动 测量 技 
术 ， 它 能 够 测量 和 记录 所 有 可 观察 到 的 面部 行为 ， 很 多 方法 都 是 以 此 为 基础 进行 的 。 

FACS 对 人 脸 肌 肉 各 部 分 动作 进行 了 完整 的 描述 。FACS 包含 46 个 基本 动作 单元 (Action 
Unit，AU) ， 通 过 结合 各 个 独立 的 动作 单元 可 以 产生 大 量 不 同 的 脸 部 表情 。 例 如 ， 结 合 AU12 + 
AU13 ( 拉 嘴 角 ) AU25 + AU27 ( 张 开 嘴 ) 、AU10 (生气 嘴 层 ) 和 AUI (UB NR) 产 
生 了 一 个 幸福 的 表情 。 这 个 系统 已 经 被 作为 许多 表情 产生 方法 的 基础 ， 特 别 是 在 使 用 肌肉 模 
型 或 者 仿真 肌肉 的 动画 方法 中 。 

FACS 是 通过 自动 分 析 面 部 活动 来 描述 面部 动作 的 一 种 新 方法 。 它 源 于 对 面部 运动 的 解 
剖 分 析 : 既然 每 一 种 面部 运动 都 是 肌肉 活动 的 结果 ， 那 么 如 果 知 道 每 个 面部 动作 对 应 的 肌肉 
运动 方式 ， 自 然 就 可 以 获得 一 个 全 面 的 面部 运动 描述 系统 。 利 用 这 个 理论 ， 我 们 也 可 以 使 机 
器 人 模仿 人 类 在 各 种 情绪 状态 下 的 表情 。 


3.1.2 主要 内 容 


在 艾 克 曼 等 人 提出 的 面部 编码 系统 (FACS) 中 ,采用 了 46 个 能 够 独立 运动 的 表情 动作 
单元 。FACS 把 脸 部 运动 分 解 为 肌肉 动作 单元 来 描述 面部 动作 ， 我 们 把 肌肉 动作 单元 称 之 为 
AU， 这 些 单元 与 使 面部 表情 改变 的 肌肉 结构 紧密 相连 ， 在 这 个 系统 中 还 定义 了 六 种 最 基本 
的 表情 : 惊奇 、 和 恐惧、 厌恶 、 慎 经、 高 兴 、 悲 伤 以 及 33 种 不 同 的 表情 倾向 ， 实 验 表 明 ， 具 
有 这 六 种 表情 的 人 脸 特 征 与 无 表情 的 人 脸 特 征 相 比 有 相对 独特 的 肌肉 运动 规律 。 此 后 的 大 多 
数 研 究 都 是 在 FACS 基础 上 构建 人 脸 表 情 模型 ， 所 以 说 这 一 系统 的 提出 具有 里 程 碑 的 意义 。 

Æ FACS 中 ， 每 一 个 单一 的 AU 可 以 包括 一 块 或 者 几 块 肌肉 组 织 ， 这 些 单元 与 使 面部 表 
情 改变 的 肌肉 结构 紧密 相连 ， 表 3-1 列 出 了 FACS 中 的 33 种 动作 单元 ,还 有 11 种 动作 单元 
的 简单 描述 见 表 3-2。 在 面部 表情 产生 时 ， 可 根据 各 个 动作 单元 之 间 的 主导 或 次 要 、 苋 争 或 
对 抗 的 关系 ,规定 这 种 情形 下 的 规则 和 方法 。 

表 3-1 FACS 的 动作 单元 表格 






























































































































































AU 编号 FACS 名 称 肌肉 基础 
1 AM EH UL, PW 
2 Mi LH AVL, SMUT 
4 EFM 降 眉 间 肌 、 皱 眉 肌 
5 EIRE EH 上 瞪 提 
6 面颊 上 扬 ARE TEDL. ULSI 
7 REZA 眼 轮 政 肌 、 额 肌 内 侧 
8 Je a Fe] XP IT 口 轮 臣 
9 a BF ERIL, SA 
10 EREHE EERI, HEFE EJL 
11 SSR RSR ii 
12 嘴角 拉 伸 VLA 
13 脸颊 吹 气 RFW 






















































































































































































































































































( 续 ) 
AU 编号 FACS 名 称 肌肉 基础 
14 wes HL 
15 EFE 口 三 角 
16 TETE 降下 层 
17 HFE 闫 肌 
18 EFIE 上 层 方 肌 、 下 层 方 肌 
20 EEDA 笑 肌 
22 BEE O e m 
23 EFKA mE AD 
24 TROIS H 4e mi 
25 DUR IF KE FJS LER E 4e mE L 
26 FUP BAL, PAPULAR 
27 PO 翼状 肌 、 二 腹 肌 
28 a SK 口 轮 牙 肌 
38 鼻孔 扩张 SEL, SRL 
39 鼻孔 缩小 自 肌 、 鼻 肌 横 部 、 降 鼻中隔 肌 
41 REFE 丛 提 肌 放 松 
42 眼 微 张 Re m 
43 闭 眼 丛 提 肌 放 松 
44 斜视 IRIEL, HR E LE 
45 HIZIR 瞪 提 肌 放 松 、 眼 轮 臣 肌 的 收缩 、 眼 轮 臣 肌 险 部 
46 HIZIR 眼 轮 臣 
表 3-2 FACS 的 动作 单元 表格 
AU 编号 FACS 名 称 
19 伸 出 舌头 
21 缩 膛 
29 下 颌 前 控 
30 下 颌 侧 移 
31 下 颌 紧 咬 
32 咬 嘴 层 
33 轻 吹 
34 BERIKA 
35 eH 
36 BA 
37 报 嘴 
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3.2 控制 器 的 设计 与 制作 


面部 表情 是 人 类 最 重要 的 身体 语言 ， 是 人 类 进行 思想 和 情感 交流 的 重要 手段 。 目 前 ， 志 
界 上 只 有 几 个 少数 发 达 国 家 做 出 了 具有 一 定 情 感 表 达能 力 的 机 器 人 仿生 腔 。 在 国内 该 方面 研 
究 尚 处 于 起 步 阶段 。 北 京 科技 大 学 对 此 进行 了 一 系列 的 研究 与 设计 ， 下 面 将 详细 介绍 机 融 人 
的 表情 控制 模式 。 


3.2.1 总 体 结构 


情感 机 器 人 电 控 系统 是 研究 的 硬件 基础 ， 整 个 电 控 系统 采用 上 位 机 与 下 位 机 结合 的 结 
构 ， 上 位 机 采用 速度 快 ， 外 部 接口 齐全 ， 连 接 存 储 空 间 大 的 PC。 其 主要 承担 运算 量 大 、 计 
算 复 杂 的 图 像 处 理 、 语 音 识别 和 语音 合成 工作 。 下 位 机 则 采用 性 价 比 高 的 PIC16F877 单 片 
机 ， 上 位 机 和 下 位 机 通过 RS232 串 行 接口 或 者 无 线 模 块 进行 通信 。 下 位 机 主要 负责 传感器 
信息 接收 及 初级 处 理 、 电 动机 驱动 和 运动 控制 等 工作 。 

图 3-2 所 示 为 情感 机 器 人 的 系统 结构 图 ， 该 机 器 人 通过 机 器 视觉 、 语 音 识别 ， 红 外 传 感 
器 等 3 个 模块 感知 外 部 环境 信息 。 机 器 视觉 通过 上 位 机 处 理 后 具有 人 脸 识 别 的 功能 。 语 音 识 
别 模块 经 过 传声器 将 语音 传递 给 上 位 机 ， 上 位 机 对 语音 信号 进行 情感 特征 提取 ， 得 到 输入 语 
音 的 情感 。 红 外 传感器 可 以 实现 感应 机 器 人 周围 障碍 或 者 是 人 员 靠 近 的 功能 ， 并 可 以 将 探测 
到 的 信号 传输 给 下 位 机 系统 ， 下 位 机 系统 经 处 理 后 通过 RS232 通信 传递 给 上 位 机 系统 。 上 
机 系统 将 图 像 信 息 ， 语 音信 息 ， 下 位 机 信息 进行 综合 处 理 ， 得 到 与 机 器 人 交互 者 及 周围 环 
境 的 信息 ， 然 后 通过 机 器 人 的 情感 输出 模块 向 下 位 机 系统 和 语音 合成 模块 发 送 指令 。 下 位 机 
系统 通过 PWM 控制 电机 运动 产生 肢体 语音 CS, Sk) 和 面部 表情 。 上 位 机 在 经 过 语音 
合成 后 通过 音响 向 人 类 表达 机 器 人 的 语言 。 情 感 机 器 人 的 语音 、 身 体 语言 和 表情 三 者 共同 构 
成 了 情感 机 器 人 的 情感 表达 。 人 类 可 以 通过 上 位 机 系统 的 调试 界面 对 机 器 人 各 功能 模块 进行 
调试 。 下 面 主要 来 介绍 下 位 机 的 工作 。 
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语音 识别 上 位 机 PC 


环境 检测 
下 位 机 
PWM PIC16F877 














图 3-2 ”人 情感 机 器 人 系统 结构 图 
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3.2.2 下 位 机 控制 


下 位 机 的 控制 由 一 块 多 路 舵 机 控制 电路 板 来 实现 ， 如 图 3-3 所 示 。 其 主要 模块 有 
PIC16F877A 单片机 、 串 口 通信 和 模块、 无线 接收 模块 、 无 线 发 射 模 块 、 电 源 模 块 、 舵 机 
驱动 电路 模块 和 大 容量 串 行 PROM 模块 。 下 面 分 别 对 各 模块 的 结构 及 功能 进行 详细 


介绍 。 





图 i a 
a 2 ”ICD2 编程 接口 


rana 


图 3-3 PIC 控制 电路 板 


1. PIC16F877A 单片机 

该 多 路 舵 机 控制 板 采 用 的 单片机 为 PTC16F877A。 

单片机 是 指 将 中 央 处 理 单元 CPU 、 程 序 存储 器 ROM、 数 据 存储 器 RAM 以 及 输入 输出 端 
A (VO H) 等 部 件 集 成 在 一 片 大 规模 或 超大 规模 集成 电路 上 的 超 微型 计算 机 。 

PIC 系列 单片机 的 硬件 设计 简洁 ， 指 令 系 统 设计 精炼 。 选 择 用 这 一 系列 的 单片机 主要 因 
为 其 具有 以 下 的 优点 : 

1) 哈佛 总 线 结构 ， 所 谓 哈佛 总 线 结构 ， 也 就 是 程序 存储 器 和 数据 存储 器 位 于 不 同 的 逻 
辑 空 间 ， 而 数据 总 线 和 指令 总 线 分 离 ， 并 且 采 用 不 同 的 宽度 。 

2) 指令 单字 节 化 : 因为 数据 总 线 和 指令 总 线 是 分 离 的 ， 并且 采用 了 不 同 的 宽度 ， 所 以 
程序 存储 器 ROM 和 数据 存储 器 RAM 的 寻 址 空间 ( 即 地 址 编码 空间 ) 是 相互 独立 的 ， 而且 
两 种 存储 器 宽度 也 不 同 。 这 样 设计 不 仅 可 以 确保 数据 的 安全 性 ， 还 能 提高 运行 速度 和 实现 全 
部 指令 的 单字 节 化 。 

3) 精简 指令 集 (RISC) 技术 : PIC 系列 单片机 不 仅 全 部 指令 均 为 单字 节 指 令 ， 而 且 绝 
大 多 数 指令 为 单 周 期 指令 ， 有 利于 提高 执行 速度 。 

4) 寻 址 方式 简单 : PIC 系列 单片机 只 有 4 种 寻 址 方式 ( 即 寄存 器 间接 寻 址 、 立 即 数 寻 
址 、 直 接 寻 址 和 位 寻 址 ) ， 容 易 掌 握 。 

5) 代码 压缩 率 高 : 1IKB 的 存储 空间 ， 对 于 像 MCS-51 这 样 的 单片机 ， 大 约 只 能 存放 
600 条 指令 ， 而 对 于 PIC 系列 单片机 则 能 够 存放 的 指令 条 数 多 达 1024 条 。 

6) 运行 速度 快 : 由 于 采用 哈佛 总 线 结构 ， 并 且 指 令 读 取 和 执行 采用 流水 作业 方式 ， 使 
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得 运行 速度 大 大 提高 。 

7) 功 耗 低 : PIC 系列 单片机 的 功率 消耗 极 低 ， 有 些 型 号 甚至 在 4MHz 时 钟 下 工作 时 电 
流 不 超过 2mA ， 在 睡眠 模式 下 电流 可 以 达到 1pA 以 下 。 

8) 驱动 能 力 强 : O 端口 驱动 负载 的 能 力 较 强 ， 每 个 LO 引 脚 输入 和 输出 电流 的 最 大 
值 可 以 分 别 达到 25mA 和 20mA， 能 够 直接 驱动 发 光 二 极 管 LED 、 光 耦合 吉 或 者 微型 继电器 。 

9) PC 和 SPI 串 行 总 线 端口 : 用 这 两 种 串 行 总 线 技术 可 以 实现 芯片 间 同 步 串 行 数 据 
传输 。 

10) 寻 址 空间 设计 简洁 : PIC 系列 单片机 的 程序 、 堆 栈 、 数 据 三 者 各 自 采 用 互相 独立 的 
寻 址 〈 或 抵制 编码 ) ， 而 且 前 两 者 的 地 址 安排 不 需要 用 户 操心 。 

11) 外 接 电路 简洁 : PIC 单片机 内 集成 了 上 电 复 位 电路 、LO 引 脚 上 拉 电 路 、 看 门 狗 定 
时 器 等 ， 可 以 最 大 限度 地 减少 或 免 用 外 接 元 器 件 。 

12) 开发 方便 。 

13) C 语言 编程 。 

14) 品种 丰富 。 

15) 程序 存储 器 版 本 齐全 。 

16) 程序 保密 性 强 。 

PIC16F877 的 工作 频率 范围 为 DC-20MHz， 具 有 上 电 复 位 (Power-on Reset) 和 掉 电 锁 
定 复 位 (Brown-out Reset) 两 种 重 置 功能 ， 以 及 上 电 定 时 器 和 品 振 起 振 定 时 器 。 除 一 个 看 门 
狗 定 时 器 外 ， 另 外 还 有 三 个 定时 器 和 两 个 CCP 模块 ， 串 行 通信 模式 方面 共 支持 USART, SPI 
MRC, 

可 以 用 几 个 不 同 的 中 断 源 激活 处 理 器 从 休眠 状态 中 苏醒 ， 并 具有 固定 的 中 断 开 销 时 间 ， 
同步 中 断 是 3 个 周期 。 用 户 可 以 根据 需要 存储 /恢复 寄存 器 。 

2. 通信 模块 

串口 通信 模块 是 整个 系统 与 PC 发 送 及 接收 数据 和 命令 的 通道 ，PC 将 外 界 信 息 进 行 处 
理 和 计算 ， 得 出 结果 ， 然 后 将 动作 指令 号 发 送 到 下 位 机 。 下 位 机 接收 到 动作 指令 后 输出 
PWM 波 控制 舵 机 和 运动。 数据 的 发 送 和 接收 有 两 种 方式 : 即 有 线 模式 和 无 线 模式 。 本 设计 采 
用 有 线 的 串口 通信 。 

SP3232C 专用 模块 负责 接收 上 位 机 发 来 的 动作 指令 号 ， 其 电路 原理 图 如 图 3-4 所 示 。 
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图 3-4 串口 通信 模块 电路 图 
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3. 电源 模块 

情感 机 器 人 所 需 电 压 共 分 两 种 ,一 种 是 给 舵 机 供电 的 6V 电压 ， 一 种 是 给 各 个 芯片 供电 
的 3.3V 电压 ， 为 了 解决 不 同 电压 的 问题 ， 本 文采 用 LM1117 电源 芯片 ， 将 电池 的 6V 电压 转 
换 成 3.3V 电压 ， 这 样 就 可 以 用 一 个 电源 产生 两 种 电压 值 (代号 分 别 为 VIN 和 VCC3.3) 分 
别 给 舵 机 和 各 个 芯片 供电 。 电 源 模块 原理 图 如 图 3-5 所 示 。 
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图 3-5 ”电源 模块 原理 图 














4. 舵 机 驱动 电路 模块 

舵 机 驱动 电路 主要 由 一 个 三 针 插座 以 及 与 之 相配 套 的 电阻 构成 ， 具 体 实 现 功 能 是 为 舵 机 
提供 工作 电源 ， 发 送 控制 脉冲 ， 其 原理 图 如 图 3-6 所 示 ，PHX 与 PIC 单片机 控制 脉冲 与 发 
送 1/O 口 相连 ,6V 为 舵 机 的 工作 电压 ， 电 压 VCC 为 上 拉 电 压 ， 保 证 由 PHX 发 送 过 来 的 控 
制 脉冲 可 以 可 靠 的 被 舵 机 接收 。 











图 3-6 能 机 原理 图 





5. 大 容量 串口 存储 器 

多 路 舵 机 控制 板 能 够 接收 上 位 机 PC 发 来 的 各 种 指令 ， 并 能 按照 用 户 事先 编制 好 的 动作 
来 控制 各 电机 有 条 不 率 的 运动 ， 必 然 要 求 电路 板 上 接 有 足够 容量 的 存储 器 。 本 电路 板 先 用 的 
存储 器 是 AT24C512 大 容量 串口 存储 絮 。 其 原理 和 外 围 电路 如 图 3-7 所 示 。 
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图 3-7 AT24C512 大 容量 串口 存储 器 外 围 电 路 原理 图 
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3.3 面部 表情 仿真 


为 使 实物 制作 过 程 更 为 直观 ， 可 采用 《虚拟 人 脸 动 画 与 人 机 交互 技术 研究 》 中 提 到 的 
仿真 软件 对 虚拟 的 人 物 脸 部 进行 表情 仿真 ， 在 达到 要 求 之 后 进行 相关 的 实物 制作 和 调试 。 





人 脸 动 画 仿真 软件 首先 需要 按 上 
3-8 所 示 。 


i me) 
文件 ”编辑 ”模型 ”帮助 


图 3-8 三 维 线 框 网 格 模型 











有 人 体 工 学 原理 建立 一 个 人 脸 的 三 维 线 框 网 格 模型 ， 如 图 
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然后 把 脸 部 照片 进行 投影 ， 一 点 一 点 地 往 骨 架 上 贴 ， 就 可 以 生成 脸 部 图 像 ， 如 图 3-9 所 
示 。 在 此 脸 部 三 维 模型 基础 上 ， 加 上 基于 表情 参数 产生 的 变形 ， 便 可 获得 一 系列 有 表情 变化 








的 脸 部 图 像 。 























此 后 通过 特征 点 的 移动 来 合成 表情 。 利 用 表情 参数 使 线 框架 模型 的 形状 变形 来 合成 表情 








的 关键 在 于 如 何 定义 表情 参数 。 人 的 表情 是 通过 脸 部 肌肉 伸缩 而 形成 ， 无 法 从 外 部 来 观察 肌 
肉 的 运动 ， 直 接 分 析 这 种 参数 几乎 是 不 可 能 的 。 因 此 只 能 从 外 部 观察 看 到 的 脸 部 特征 点 动作 
(例如 眼 梢 的 动作 ) 来 定义 脸 部 表情 参数 。 利 用 FACS 中 的 各 种 AU 在 三 维 线 框架 模型 上 进 


























行 表 现 , 便 能 够 有 效 地 合成 任意 表 


青 。 如 图 3- 10 所 示 。 





人 脸 动 画 仿真 软件 把 人 的 脸 部 动作 分 解 为 44 种 称 为 AU (动作 单位 ) 的 基本 动作 。 各 
个 AU 可 以 根据 脸 部 的 特点 予以 定义 ， 也 可 以 从 解剖 学 角度 考虑 定义 一 个 或 几 个 肌肉 收缩 、 
松弛 。 于 是 ， 所 有 表情 都 可 以 用 AU 的 组 合 来 表示 。 根 据 每 种 表情 的 描述 ， 可 以 将 它 拆 成 奉 
干 个 运动 单位 的 组 合 。 当 然 ， 这 是 在 忽略 了 许多 表情 变化 细 闻 的 基础 上 做 出 的 ， 只 是 近似 地 














反映 出 每 种 表情 的 特点 。 例 如 





























悲伤 =AU1 +AU15 惊奇 =AU26 +AU1 厌恶 =AU12 +AU4 + AUD 














通过 对 这 些 AU 进行 组 合 ， 就 可 以 合成 对 应 于 人 类 基本 感情 的 表现 ， 如 山 、 笑 等 。 在 心 


57 








AERD rar au | ae | ean 
miee 
模型 变形 参数 
© HeadHeight © NoseyF 
O EyebrowsyP (© NosePointUp 





© Eyes¥P ‘© Mouth¥P 
© Eyer © Mouth 
© Eye © EyesyDif 
© EyeSepD O chint 
© CheekszZ 


O osez Lt) 


20 40 60 











图 3-9 机 器 人 脸 部 照片 及 贴 好 图 片 纹理 的 模型 








图 3-10 原始 的 三 维 网 格 〈 左 图 ) 和 惊奇 时 的 三 维 网 格 〈 右 图 ) 

















理学 领域 , 把 人 的 基本 表情 分 为 惊奇 、 忍 慢 、 大 有 恶 、 人 愤怒 、 高 兴 、 翡 伤 六 种 。 因 此 ， 可 以 通 
过 按钮 对 不 同 的 网 格 点 进行 变形 处 理 ， 仿 真 以 上 六 种 基本 表情 ， 如 图 3-11 所 示 。 

以 上 六 种 基本 表情 的 形成 大 部 分 均 遵循 FACS 脸 部 表情 编码 系统 的 规则 。 由 仿真 结果 可 
以 看 出 这 些 表情 还 是 比较 通 真 的 。 为 使 表情 看 起 来 更 加 的 逼真 、 形 象 ， 有 些 表 情 在 FACS 编 
人 码 系统 的 基础 上 ， 还 依照 常识 加 入 了 一 些 相关 的 动作 。 这 些 仿真 表情 的 形成 特点 可 以 有 效 地 
指导 情感 机 器 人 的 表情 调试 工作 。 
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高 兴 恐惧 





悲伤 惊奇 





图 3-11 情感 机 器 人 六 种 仿真 表情 
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3.4 面部 表情 调试 


心理 学 研究 表明 : 人 脸 能 够 产生 大 约 55000 种 不 同 的 表情 ， 其 中 有 多 种 能 够 用 人 类 自然 
语言 的 词汇 区 别 开 来 。 在 心理 学 领域 ， 把 人 的 基本 表情 分 为 惊奇 、 疏 惧 、 厌 恶 、 慎 怒 、 高 
兴 、 悲 伤 六 种 。 机 器 人 头 部 电机 与 相应 的 AU 一 一 对 应 ， 电 机 的 运动 可 以 转换 成 为 AU 的 运 
动 ， 从 而 产生 表情 。 表 3-3 列 出 了 六 种 基本 表情 与 AU 的 关系 。 
表 3-3 六 种 基本 表情 与 AU 的 关系 























表 傅 AU 
高 兴 AU16 + AU12 
悲伤 AU1 + AU15 
惊奇 AU26 + AU1 
Teeth AU12 +AU1 
BUR AU27 + AU4 + AU9 
厌恶 AU12 +AU4 + AU9 


AU = {16, 12, 1, 15, 26, 27, 4, 9} 共 7 个 。AU1 (提升 眉毛 ) AU4 (下 拉 眉 毛 )、 
AUS (收缩 鼻子 ) 、AU12 (拉动 嘴角 ) . AUIS (嘴角 下 压 ) 、AU16 (提高 额 部 ) AU26 (下 
fie PEL), AU27 (张大 嘴巴 )。 

如 图 3-12 所 示 ， 点 击 “ 浏 览 ”按钮 后 ， 就 可 以 把 要 加 载 的 机 器 人 头 部 的 运动 数据 
读 取 出 来 。CH1 ~ CH13 对 应 机 器 人 的 13 台 能 机 ， 在 机 器 人 上 电 的 状态 下 ， 我 们 拖 动 
CH1 ~ CH13 中 任意 滑 块 ， 机 器 人 的 相应 舵 机 也 会 移动 相应 的 角度 。 根 据 机 器 人 动作 要 
求 ， 每 台 舵 机 设 定 完成 某 一 个 角度 ， 机 器 人 就 可 以 完成 相应 的 动作 ， 数 据 由 相应 滑 块 
任意 调节 。 此 软件 还 可 以 对 数据 进行 微调 。 选 择 其 中 的 一 组 数据 ， 双 击 之 后 ， 这 组 数 
据 就 可 以 在 上 面 的 各 个 滑动 块 中 体现 出 来 。 通 过 拉动 滑动 块 ， 可 以 改变 每 一 个 CHX 对 
应 的 数据 ， 调 整 完毕 之 后 按 软件 右上 角 的 修改 就 可 以 把 改动 的 数据 重新 保存 到 原来 的 
位 置 。 在 软件 的 上 方 有 一 个 同步 的 选项 ， 有 ON 和 OFF 两 个 选项 ， 如 果 选 OFF 选项 ， 
调整 后 按 插入 按钮 旁边 的 那个 发 送 按钮 ， 就 会 把 调整 完毕 的 数据 一 一 即 13 个 滑动 块 所 
体现 出 来 的 数据 一 一 发 送 给 机 器 人 ， 这 样 就 可 以 验证 是 否 数 据 已 经 调整 完毕 ， 如 果 选 择 
ON 选项 ， 则 用 滑动 条 调整 数据 的 同时 ， 机 器 人 就 做 出 相应 的 动作 ， 即 可 以 实时 显示 微 
调 结果 。 

从 以 上 仿真 结果 及 通过 调试 界面 对 各 动作 单元 的 调试 ， 我 们 可 以 得 到 表情 机 器 人 的 六 种 
基本 表情 可 参见 图 3-1。 从 而 情感 机 器 人 利用 不 同 表情 不 同 的 行为 。 例 如 ， 当 情感 机 器 人 需 
要 表现 出 可 悲 的 行为 ， 它 可 以 使 用 悲伤 、 厌 恶 或 意外 的 情感 。 同 样 根 据 情况 ， 情 感 机 器 人 可 
以 使 用 这 些 面 部 表情 表现 出 愤怒 、 和 钨 惧 、 惊 讶 或 喜悦 的 面部 表情 与 具有 情感 的 语音 合成 相 结 
合 ， 使 机 器 人 的 情感 表达 更 加 生动 逼真 。 
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3-12 数据 加 载 及 调试 画面 











E 考 题 


3-1 查阅 资料 思考 面部 运动 的 测量 技术 除了 本 章 中 介绍 的 FACS 外 ， 还 有 没有 其 他 技术 ， 如 果 有 ， 则 
对 这 些 技术 的 优 缺 点 进行 总 结 。 

3-2 简 述 机 器 人 的 控制 絮 系 统 的 组 成 。 

3-3 ”依照 本 章 的 内 容 ， 试 着 设计 出 情感 机 器 人 的 框架 ,使 其 可 以 表示 出 悲伤 、 快 乐 、 惊 奇 三 种 
表情 。 
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第 4 各 电动 机 控制 


在 前 两 章 我 们 讨论 了 情感 机 器 人 表情 头 的 设计 ， 那 么 是 什么 驱动 机 器 人 的 头 部 并 且 表 达 
出 如 此 丰富 多 彩 的 情感 呢 ? 这 就 是 机 械 与 电子 的 有 机 结合 ， 本 音 将 围绕 这 个 问题 对 电动 机 控 
制 进行 介绍 。 

机 器 人 使 用 的 电动 机 在 满足 必要 输出 力矩 和 输出 速度 的 同时 ， 必 须 使 机 械 结构 紧凑 、 传 
动 精度 和 效率 较 高 ， 以 满足 机 构 速 度 和 承载 能 力 的 要 求 。 因 而 电动 机 的 选择 至 关 重 要 ， 电 动 
机 选择 的 好 坏 甚 至 直接 关系 到 项 目的 成 功 或 失败 。 本 章 主要 讲解 在 机 器 人 设计 中 如 何 选择 电 
动机 ， 以 及 在 情感 机 器 人 头 部 控制 中 如 何 应 用 舵 机 的 问题 。 图 4-1 所 示 的 表情 便 是 由 电动 机 
驱动 的 情感 机 器 人 产生 ， 分 别 代表 微笑 AR. RU. AE 



































图 4-1 由 电机 驱动 的 情感 机 器 人 表情 








4.1 电动 机 的 基本 概念 


电动 机 按 工 作 电 源 的 不 同 ， 可 以 分 为 直流 电动 机 和 交流 电动 机 ， 交 流 电 动机 又 可 以 分 为 
单 相 电 动机 和 三 相 电 动机 。 按 用 途 分 类 ， 电 动机 可 分 为 驱动 用 电动 机 和 控制 用 电动 机 。 了 驱动 
用 电动 机 又 分 为 电动 工具 (REL. HWE. EG, A, OR, PALS TA) 用 电动 机 、 
KE 〈 包 括 洗衣 机 、 电 风扇 、 电 冰箱 、 空 调 器 、 录 音 机 、 录 像 机 、 影 矶 机 、 吸 侍 锅 、 照 相 
机 、 电 吹风 、 电 动 剃 须 刀 等 ) 用 电动 机 及 其 他 通用 小 型 机 械 设备 (包括 各 种 小 型 机 床 、 小 
型 机 械 、 医 疗 器 械 、 电 子 仪器 等 ) 用 电动 机 。 控 制 用 电动 机 又 分 为 步 进 电动 机 和 伺服 电动 
机 等 。 
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伺服 电动 机 就 是 在 伺服 系统 中 控制 机 械 元 件 运转 的 发 动机 ， 是 一 种 补助 电动 机 间接 变速 
的 装置 。 伺 服 电动 机 ， 可 使 控制 速度 量 、 位 置 量 非常 精确 ， 并 可 将 电压 信号 转化 为 转 矩 和 转 
速 以 驱动 控制 对 象 。 伺 服 电动 机 可 以 分 为 直流 伺服 电动 机 和 交流 伺服 电动 机 。 

直流 伺服 电动 机 分 为 有 刷 电动 机 和 无 刷 电动 机 。 有 刷 电机 成 本 低 ， 结 构 简 单 ， 起 动 转 矩 
大 ， 调 速 范围 宽 ， 控 制 容 易 ， 维 护 方便 〈 换 电 刷 ) ,但 易 产 生 电磁 干扰 ， 因 此 对 环境 有 要 
求 ， 它 可 以 用 于 对 低 成 本 的 普通 工业 和 民用 场合 。 

无 刷 电动 机 体积 小 、 重 量 轻 、 转 矩 大 、 响 应 快 、 速 度 高 、 惯 量 小 、 转 动 平滑 、 力 矩 稳 
定 、 控 制 复杂 、 容 易 实 现 智能 化 、 其 电子 换 相 方式 灵活 、 可 以 方 波 换 相 或 正弦 波 换 相 。 电 机 
免 维护 、 效 率 高 、 运 行 温度 低 、 电 磁 辐 射 小 、 寿 命 长 、 可 用 于 各 种 环境 。 

交流 伺服 电动 机 也 是 无 刷 电动 机 ， 可 分 为 同步 和 异步 电动 机 ， 目 前 运动 控制 中 一 般 都 用 
同步 电动 机 ， 它 的 功率 范围 大 ， 可 以 做 到 很 大 的 功率 。 惯 量 大 ， 最 高 转动 速度 低 ， 且 随 着 功 
率 增 大 而 快速 降低 。 因 而 适合 于 低速 平稳 运行 。 

伺服 电动 机 内 部 的 转子 是 永 磁 铁 ， 驱 动 带 控制 的 UAVAW 三 相 电 形成 电磁 场 ， 转 子 在 此 
磁场 的 作用 下 转动 ， 同 时 电动 机 自 带 的 编码 右 反 馈 信号 给 驱动 器 ， 驱 动 避 根据 反馈 值 与 目标 
值 进行 比较 ， 调 整 转子 转动 的 角度 。 伺 服 电 动机 的 精度 取决 于 编码 融 的 精度 (RRO 。 


4.2 ALA 


在 情感 机 器 人 头 部 和 身躯 结构 设计 中 ， 关 节 轴 系 的 设计 必须 结构 紧凑 、 传 动 精度 高 和 传 
动 效率 高 ， 并 保证 提供 必要 的 输出 力矩 和 输出 速度 ， 以 满足 机 构 动 作 的 运动 速度 和 承载 能 
的 要 求 。 而 舵 机 具有 体积 小 ， 重 量 轻 ， 经 济 实用 的 特点 。 


4.2.1 舵 机 的 结构 


舵 机 最 早出 现在 航模 运动 中 。 在 航空 模型 中 ， 飞 行 机 的 飞行 姿态 是 通过 调节 发 动机 和 各 
控制 舵 面 来 实现 的 。 舵 机 因此 得 名 : 控制 舵 面 的 伺服 电动 机 。 不 仅 在 航模 飞机 中 ， 在 其 他 的 
模型 运动 中 都 可 以 看 到 它 的 应 用 。 船 模 上 用 来 控制 尾 舵 ， 车 模 中 用 来 转向 等 。 由 此 可 见 ， 凡 
是 需要 操作 性 动作 时 都 可 以 用 舵 机 来 实现 。 

一 般 来 讲 ， 舵 机 主要 由 舵 盘 、 变 速 齿轮 组 、 位 置 
反馈 电位 计 、 直 流 电动 机 、 控 制 电路 板 等 组 成 ， 如 图 
4-2 所 示 。 实 际 的 舵 机 又 有 许多 区 别 ， 例 如 电动 机 有 
有 刷 和 无 刷 之 分 ， 齿 轮 有 塑料 和 人 金属 之 分 ， 输 出 轴 有 
滑动 和 滚动 之 分 ， 速 度 有 快速 和 慢 速 之 分 等 ， 组 合 不 
同 ， 价 格 也 千差万别 。 

舵 机 的 瞬时 运动 速度 由 其 内 部 的 直流 电动 机 和 变 
速 齿轮 组 的 配合 决定 ， 在 恒定 的 电压 驱动 下 ， 其 数值 
恒定 不 变 。 但 其 平均 运动 速度 可 通过 分 段 停顿 的 控制 
方式 来 改变 ， 例如， 我 们 可 把 动作 幅度 为 90° 的 转动 
细 分 为 128 个 停顿 点 ， 通 过 控制 每 个 停顿 点 来 实现 1 一 电流 电动 机 2 一 恋 速 货轮 组 
0° ~90° 的 匀速 变化 。 对 于 多 数 舵 机 来 说 ， 速 度 的 单 3 一 反馈 电位 计 4 一 控制 电路 板 































































































图 4-2 舱 机 的 结构 
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位 是 “?°/s”。 

标准 的 和 能 机 有 三 条 引线 ， 分 别 为 电源 线 VCC、 地 线 GND 及 控制 线 CON， 如 图 4-3 所 
示 。 电 源 线 与 地 线 用 于 提供 内 部 的 直流 电动 机 及 控制 线路 所 需 的 能 源 ， 电 压 通常 介 于 4V 和 
6V 之 间 ， 该 电源 应 尽 可 能 与 CPU 系统 的 电源 隔离 ( 因为 舵 机 会 产生 噪声 ) 。 小 舵 机 在 重负 
载 时 也 会 拉 低 放大 器 的 电压 ， 所 以 整个 系统 的 电源 供应 比例 必须 合理 。 


























图 4-3 能 机 的 引线 


4.2.2 舵 机 的 工作 原理 
舵 机 是 一 个 典型 闭环 反馈 系统 ， 其 工作 原理 由 图 4-4 所 示 。 










控制 脉冲 










比例 电压 








图 4-4 ” 舵 机 工作 原理 框图 








减速 齿轮 组 由 电动 机 驱动 ， 其 齿轮 组 的 输出 轴 人 带动 一 个 线性 的 比例 电位 器 ， 该 电位 器 把 
输出 轴 转 过 的 角度 9 转换 成 比例 的 电压 反馈 给 控制 电路 ， 控 制 电路 将 其 与 输入 的 控制 脉冲 信 
号 进行 比较 ， 产 生 纠偏 脉冲 ， 并 驱动 电动 机 正 向 或 反 向 转动 ， 使 元 轮 组 的 输出 位 置 与 期 望 值 
相符 ， 令 纠正 脉冲 趋 于 为 0， 从 而 达到 使 舵 机 精确 定位 的 目的 。 

舵 机 的 控制 信号 为 周期 20ms 的 脉 宽 调制 (PWM) 信号 ， 其 中 脉冲 宽度 从 0.5 ~2. Sms， 
相对 应 舵 盘 的 位 置 为 0" ~ 180"， 呈 线性 变化 。 也 束 是 说 ， 给 它 提 供 一 定 的 脉 宽 ， 它 的 输出 
轴 就 会 保持 在 一 个 相应 的 角度 上 ， 直 到 给 它 提供 一 个 另外 宽度 的 脉冲 信号 ， 它 才 会 改变 输出 
角度 到 新 的 对 应 的 位 置 上 。 舵 机 内 部 有 一 个 基准 电路 ， 产 生 周期 为 20ms， 宽 度 为 1. 5ms 的 
基准 信号 ， 外 加 信和 号 与 基准 信号 通过 比较 器 比较 ， 判 断 出 方向 和 大 小 ， 从 而 产生 电机 的 转动 
信号 。 由 此 可 见 ， 舵 机 是 一 种 位 置 伺服 的 驱动 器 ， 转 动 范围 不 能 超过 180"， 适 用 于 那些 需 
要 角度 不 断 变化 并 可 以 保持 的 驱动 设备 。 

伺服 电动 机 是 靠 接 受 不 同 占 空 比 的 脉冲 信号 ， 从 而 转化 成 相应 的 平均 电压 ， 以 此 来 驱动 
其 内 部 小 电动 机 带动 齿轮 转动 。 舵 机 其 具体 的 脉冲 宽度 与 舵 机 角度 的 对 应 关系 如 图 4-5 
所 示 。 


4.2.3 舵 机 的 注意 事项 


普通 的 模拟 量 舵 机 不 是 一 个 精确 的 定位 带 件 ， 即 使 使 用 同一 品牌 型 号 的 舵 机 产品 ， 它 们 
之 间 的 差别 也 非常 大 ， 同 一 脉冲 宽度 驱动 时 ， 不 同 的 舵 机 存在 + 10° 的 偏差 也 是 正常 的 。 特 
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输入 脉冲 高 电 平 宽度 (周期 20ms) 舵 机 转动 角度 


| | 0.7ms 
| | 1.1ms 
| | 1.5ms 
| | 1.9ms 
| | 2.3ms 


图 4-5 脉冲 宽度 与 舵 机 角度 的 对 应 关系 





























别 注 意 ， 绝 不 可 加 载 让 舵 机 输出 位 置 超过 + 上 90* 的 脉冲 信号 ， 和 否则 会 损坏 舵 机 的 输出 限 位 机 
构 或 齿轮 组 等 机 械 部 件 。 由 此 可 见 ， 舵 机 具有 以 下 特点 : 体积 紧凑 ， 便 于 安装 ; 输出 力矩 
大 ， 稳 定性 好 ; 控制 简单 ， 便 于 和 数字 系统 连接 。 

正 是 因为 舵 机 具有 以 上 诸多 优点 ， 其 早已 不 局 限于 航模 运动 中 的 应 用 ， 而 是 扩展 到 各 种 
机 电 产 品 中 来 ， 在 机 器 人 控制 中 应 用 也 越 来 越 广泛 ， 因 此 在 情感 机 带 人 的 设计 中 我 们 也 采用 
舵 机 实现 其 控制 功能 。 


4.2.4 直流 电动 机 的 选择 


maxon 直流 电动 机 是 一 种 高 质量 的 驱动 元 件 ， 它 装 有 高 性 能 的 稀土 磁 钢 ， 专 利 的 空 世 杯 
转子 ， 体 积 小 、 性 能 高 、 惯 量 低 。 借 助 于 精密 的 齿轮 箱 ， 可 获得 更 宽 的 速度 和 转移 范围。 高 
分 状 率 的 模拟 和 数字 编码 器 为 运动 控制 提供 了 有 利 的 保障 。 其 已 被 证 明 CLL (电容 煌 弧 长 寿 
命 ) 技术 有 效 地 延长 了 电机 的 寿命 。maxon 直流 电动 机 结构 如 图 4-6 所 示 。 

1. maxon 直流 电动 机 的 技术 特点 

1) 无 齿 权 效应 :采用 小 惯量 转子 获得 高 加 速 
性 能 ; 电磁 干扰 小 ; 小 电感 ; Hh [nl A & iit, 转 
和 矩 波动 小 ， 可 短 时 过 载 ; 结构 紧凑 、 小 尺寸 ; 能 与 
多 种 齿轮 箱 、 编 码 器 、 直 流 测 速 机 配合 使 用 。 

2) 转速 : 电动 机 的 最 佳 工 作 速 度 在 4000 ~ 
9000r/min， 这 是 由 电动 机 的 尺寸 大 小 所 决定 的 ， 某 
些 特殊 型 号 可 获得 20000r/min 以 上 的 转速 。 

3) 电动 机 的 物理 特性 : 在 电压 为 常数 的 情况 
下 ， 其 转速 随 负载 增加 而 减 小 。 多 种 绕组 选择 使 用 
使 电动 机 能 匹配 多 种 条 件 。 在 低 转 速 条 件 下 ， 配 合 图 4-6 maxon 直流 电动 机 结构 
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使 用 齿轮 箱 比 直接 降低 转速 更 为 有 利 。 

4) THAM: 由 于 多 种 因素 的 影响 ， 很 难以 一 个 通用 状态 来 衡量 电动 机 的 寿命 。 电 机 在 
良好 状态 下 寿命 可 达 20000h， 而 在 极端 条 件 下 仅 为 100h。 通 常情 况 下 能 达到 1000 ~3000h 。 

2. 如 果 要 获得 更 大 的 转 短 和 相对 较 低 的 速度 ， 就 需要 使 用 maxon 精密 齿轮 箱 

由 于 齿轮 的 减速 作用 ， 输 出 速度 会 减 小 而 输出 转 矩 会 变 大 。 为 方便 使 用 ,在 出 厂 前 已 将 
减速 箱 与 所 需 电 机 装配 成 一 体 。 刚 性 固定 于 电机 轴 上 的 小 齿轮 作为 一 级 输入 齿轮 。 
行星 齿轮 减速 箱 : 行星 齿轮 箱 特 别 适合 高 转 抢 传递 ， 可 实现 180N -m 的 大 转 和 矩 传递 ， 
减速 比 4:1 到 6285:1， 外 径 $6 ~81mm， 高 性 能 比 、 小 尺寸 ,齿轮 箱 输 入 输出 同 轴 心 。 

工作 寿命 : 在 最 大 允许 载荷 和 推荐 输入 速度 范围 内 ， 齿 轮 箱 可 连续 工作 1000 ~3000h。 

其 他 影响 因素 : 转 和 矩 过 大 会 加 大 磨损 ， 齿 轮 接触 处 局 部 温度 过 高 会 破坏 润滑 油 的 性 能 ， 
大 大 超过 额定 输入 速度 的 输入 量 会 减少 寿命 以 及 轴承 所 承受 的 径 向 和 轴 向 载 答 。 

陶瓷 材料 ， 越 来 越 多 的 用 于 行星 齿轮 箱 ， 它 能 增进 关键 部 件 的 耐 磨 性 。 

温度 /润滑 : maxon 齿轮 箱 需要 润滑 以 保证 寿命 。 润 滑 剂 具有 在 推荐 的 温度 范围 内 才 有 
效 。 工 作 温 度 过 高 或 过 低 时 ， 则 需要 使 用 特种 润滑 剂 。 

3. 数字 增 量 编码 器 

编码 器 输入 方 波 信号 给 控制 系统 ， 通 过 脉冲 计数 用 来 精确 计算 位 置 和 速度 。A、B 通道 
的 相位 变化 可 以 用 来 判定 旋转 方向 。 通 道 1 提供 零 位 信号 ， 用 作 精 确 判 断 旋 转角 度 的 参考 
点 。 线 驱动 器 产生 的 差 动 信号 ， 可 有 效 去 除 在 信号 长 距离 传输 过 程 中 产生 的 干扰 。 此 外 ， 安 
装 在 编码 器 内 部 的 电子 线路 能 提供 更 好 的 信号 边沿 。 

4. 选用 maxon 直流 电动 机 的 参数 

O 标 称 功率 : 20W 

@ 额定 电压 24V 

@ ZAFRA 9550r/min 

O SRFEFEIE 243mN - m 

+ 空 载 电流 37mA 

© 堵 转 电流 10400mA 

令 最 大 人 允许 转速 11000r/ min 

@ 最 大 连续 电流 1210mA 

@ 最 大 连续 转 和 矩 26. ImN -m 

+ 最 大 输出 功率 58300mW 

令 最 大 效率 85% 

@ 速度 常数 407 (r/min) /V 

令 机 械 时 间 常 数 4ms 

令 转子 惯量 10.3g .cm 

+ 电机 电感 0. 24mH 

@ 电机 上 自 带 减速 箱 的 减速 比 100: 1 


4.3 舵 机 驱动 控制 模块 


舵 机 的 控制 信号 可 由 FPGA (Field- Programmable Gate Array， 现 场 可 编程 门 阵列 ) 、 模 拟 
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电路 或 单片机 来 产生 。 采 用 FPGA 或 CPLD 产生 PWM 波 已 经 在 很 多 重要 的 场合 得 到 应 用 ， 
依靠 其 特有 的 并 行 处 理 能 力 和 大 量 的 1/0 接口 ， 可 以 同时 控制 几 十 甚至 上 百 个 艇 机 同时 工 
， 这 种 方法 可 靠 、 控 制 精 度 高 ， 但 是 成 本 较 高 ， 适 用 于 重要 场合 。 用 模拟 电路 实现 较 复 
， 而 且 产生 的 脉冲 频率 和 脉 宽 不 是 很 准确 ， 很 难 实现 精确 控制 。 由 于 单片机 具有 性 能 稳 
、 编 程 灵活 、 精 度 较 高 、 价 格 低廉 等 特点 ， 一 般 采 用 单片机 作为 舵 机 控制 器 。 

以 上 介绍 了 舵 机 的 相关 概念 ， 那 
么 在 情感 机 器 人 的 电 控 系统 中 舵 机 是 
如 何 工作 的 呢 ? 在 情感 机 器 人 电 控 系 
统 中 我 们 采用 了 上 下 位 机 相 结 合 的 体 
系 结构 ， 机 电 系 统 的 结构 如 图 4-7 所 
示 。 上 位 机 采用 计算 机 控制 ， 主 要 优 
点 是 速度 快 ， 各 种 外 部 接口 设备 多 ， 
连接 存储 空间 大 的 PC。 上 位 机 主要 
负责 运算 量 大 、 计 算 复 杂 的 图 像 处 
理 、 语 音 识别 和 语音 合成 工作 。 下 位 机 采用 性 价 比 高 的 PIC16F877 单片机 ， 上 位 机 和 下 位 机 
通过 RS232 串口 或 者 无 线 模块 进行 连接 和 通信 。 下 位 机 主要 负责 传感器 信息 接收 及 初级 处 
理 、 电 机 驱动 和 运动 控制 等 工作 。 

下 位 机 的 控制 又 分 成 舵 机 控制 和 直流 电机 控制 两 大 部 分 : 一 部 分 是 手臂 及 头 部 的 舵 机 控 
制 系统 : 舵 机 的 控制 系统 主要 包括 机 器 人 的 控制 核心 一 一 PIC16F877 单片机 、 数 据 存储 模 
块 、 通 信和 模块 以 及 其 他 的 硬件 控制 模块 。 另 一 部 分 是 转 腰 、 弯 腰 实 现 的 直流 电机 控制 系统 : 
主要 包括 直流 电机 控制 、 无 线 接收 控制 、 传 感 器 编码 控制 、 手 焊 转 接 控制 。 下 面 主要 介绍 舵 
机 控制 模块 。 


4.3.1 驱动 电路 模块 


舵 机 驱动 电路 主要 由 一 个 三 针 插 座 以 及 与 之 相 
配套 的 电阻 构成 ， 实 现 给 舵 机 提供 工作 电源 ， 发 送 
控制 脉冲 的 功能 ， 其 原理 图 如 图 4-8 所 示 ，PHX 与 
PIC 单片机 控制 脉冲 与 发 送 YO 口 相连 ，6V 为 舵 机 
的 工作 电压 ,电压 VCC 为 上 拉 电 压 , 保证 由 PHX = 
发 送 的 控制 脉冲 可 被 舵 机 可 靠 接收 。 图 4-8 ” 舵 机 接口 电路 


4.3.2 舵 机 的 控制 


1. 舵 机 运动 分 辨 率 

舵 机 是 一 种 转动 角度 有 范围 的 电动 机 ， 一 般 是 0 ~ 180*， 能 机 运动 过 程 比较 平缓 ， 不 
是 立刻 就 运动 到 指定 位 置 ， 即 要 一 点 一 点 地 转动 到 目标 位 置 ， 例 如 能 机 要 由 0° 转动 到 90， 
转动 的 时 候 不 是 一 下 子 就 转动 到 90°， 而 是 转动 一 次 转 1*， 然 后 转动 90 次 ， 才 转动 到 90。。 
之 所 以 这 么 处 理 能 机 的 运动 ， 主 要 是 为 了 控制 能 机 速度 。 为 此 ， 我 们 引进 能 机 运动 分 辩 率 的 
概念 。 所 谓 能 机 运动 分 辩 率 ， 就 是 指 在 能 机 运动 过 程 中 可 以 精确 控制 的 最 小 转动 角度 。 本 书 
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图 4-7 机 电 系 统 结 构图 
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中 ,将 舵 机 转动 的 有 效 范围 0? ~ 180° 4} wk 200 份 ， 每 一 份 为 0.9*， 即 舵 机 的 转动 分 辩 率 是 
0. 9°。 对 于 分 辨 率 的 示意 图 如 图 4-9 所 示 。 由 图 可 以 看 到 ， 所 谓 的 运动 分 辩 率 就 是 把 一 个 完 
整 的 动作 周期 分 割 开 来 ， 每 一 次 给 舵 机 发 送 的 脉冲 都 比 前 一 个 脉冲 多 一 点 或 者 少 一 点 ， 这 样 
达到 的 效果 就 是 能 机 可 以 分 步 的 由 一 个 位 置 转动 到 另 一 个 位 置 ， 而 不 是 一 下 子 就 到 达 。 这 样 
做 可 以 提高 舵 机 的 控制 精度 ， 并 可 在 舵 机 转动 的 过 程 中 添加 例如 速度 调节 等 其 他 控制 。 


第 一 个 周期 4 号 舵 机 ， 脉 冲 [sn 
第 二 个 周期 4 号 舵 机 ， 脉 冲 | 
第 三 个 周期 4 号 舵 机 ， 脉 冲 | 


第 四 个 周期 n 号 舵 机 ， 脉 冲 











i] /ms 





图 4-9 能 机 运动 分 辩 率 示意 图 


2. 舵 机 运动 的 速度 控制 

在 引入 舵 机 运动 分 辨 率 的 概念 之 后 ， 就 可 以 进行 舵 机 转速 控制 。 对 于 转速 的 控制 ， 有 以 
下 两 种 方案 可 供 选 择 。 

第 一 种 方案 是 用 延 时 的 方式 来 调节 速度 ， 即 在 舵 机 的 两 个 控制 脉冲 之 间 添 加 延 时 程序 ， 
延 时 时 间 的 长 短视 所 要 求 的 速度 等 级 而 定 。 用 此 方案 调节 能 机 转动 的 速度 ， 优 点 在 于 实现 简 
单 ， 经 过 调 速 后 艇 机 转动 较为 平滑 ， 可 以 达到 调 速 的 要 求 。 而 缺点 是 按照 这 个 方法 进行 舵 机 
的 速度 调节 ， 所 得 到 的 速度 最 大 值 固定 不 可 更 改 。 因 为 此 种 调 速 方法 是 通过 时 间 延 时 来 实现 
的 ， 即 采用 这 样 的 方法 控制 速度 ， 所 能 达到 的 最 快速 度 为 无 延 时 的 速度 。 为 保证 舵 机 的 精确 
控制 ， 舵 机 的 运动 分 辩 率 会 很 小 ， 这 样 一 来 舵 机 的 速度 最 大 值 就 不 会 很 高 ， 因 此 这 种 调 速 方 
案 限 制 性 很 大 ， 不 能 满足 情感 机 器 人 的 运动 控制 需求 。 

第 二 种 方案 是 去 掉 延 时 ， 通 过 改变 能 机 的 运动 步 长 进而 改变 能 机 的 转动 速度 ， 其 原理 如 
图 4-10 所 示 。 从 图 4-10 中 可 以 看 出 ， 速 度 n+1 的 脉冲 增幅 明显 小 于 速度 n+2 的 脉冲 增 
幅 ， 舵 机 转动 同样 角度 ， 如 果 用 速度 n+1 的 脉冲 来 实现 ， 由 于 其 脉冲 的 增幅 小 ， 所 以 耗 时 
较 长 ， 速 度 较 慢 。 如 果 用 速度 n+2 的 脉冲 来 实现 ， 由 于 其 脉冲 增幅 大 ， 所 以 耗 时 较 短 ， 速 
度 较 快 。 通 过 调节 脉冲 增幅 的 大 小 ， 就 可 以 使 得 舵 机 以 不 同 的 速度 值 转 劲 。 此 种 方案 速度 最 
大 值 与 最 小 值 均 固 定 ， 最 小 值 为 增幅 量 等 同 舵 机 运动 分 辩 率 值 时 的 速度 。 最 大 值 等 同 于 舵 机 
本 身 所 能 达到 的 速度 值 。 最 大 值 与 最 小 值 之 间 的 速度 值 可 以 通过 改变 不 同 的 控制 脉冲 增幅 量 
来 达到 。 用 这 种 方案 调节 舵 机 运动 的 速度 与 第 一 种 方案 相 比 ， 优 点 是 显而易见 的 。 不 过 这 种 
方案 也 存在 一 个 问题 ， 就 是 在 脉冲 增幅 过 大 的 时 候 ， 舵 机 会 出 现 轻 微 的 拌 动 ， 或 者 可 以 说 会 
出 现 转 动 毛刺 。 

总 的 来 说 ， 第 二 种 方案 优 于 第 一 种 方案 ， 因 此 ， 人 情感 机 器 人 速度 控制 选用 第 二 种 方案 。 
根据 实际 情况 ,我们 可 以 把 舵 机 的 速度 分 为 7 级 ， 由 1 ~7 级 ,速度 依 次 递增 。 第 7 级 的 速 
度 与 舵 机 直接 给 予 脉冲 时 的 速度 相仿 。 
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第 一 个 周期 ”号 能 机 ， 脉 冲 ri 
第 二 个 周期 "号 能 机 ， 脉 冲 it 
第 三 个 周期 4 号 舵 机 ， 脉 冲 
第 四 个 周期 "号 能 机 ， 及 冲 Pp] 


速度 n+1 控 制 示意 图 了 时间/ms” 


第 一 个 周期 "号 能 机 ， 脉 冲 站 
第 二 个 周期 "号 能 机 ， 脉 冲 = 
第 三 个 周期 "号 能 机 ， 脉 冲 Tii . 
SARIN SAE, MN A 


速度 +2 控制 示意 图 时 间 /ms” 














图 4-10 舱 机 速度 控制 示意 图 
3. 舵 机 运动 控制 脉冲 发 送 规律 
在 研究 过 程 的 初期 ， 采 用 的 方法 是 同时 给 多 台 能 机 发 送 控制 脉冲 ， 这 是 最 容易 想到 的 ， 
也 是 最 容易 实现 的 一 种 脉冲 发 送 方 式 ， 根 据 每 个 舵 机 不 同 的 转动 角度 ， 控 制 与 靛 机 相对 应 的 
脉冲 高 电 平 在 不 同 的 时 间 截 止 ， 控 制 脉冲 发 送 方式 如 图 4-11 所 示 。 
第 一 台 舵 机 控制 脉冲 a 站 
第 二 人 台 舵 机 控制 脉冲 站 m 


第 十 六 台 舵 机 控制 脉冲 i es (a 
第 十 七 台 舵 机 控制 脉冲 —— oa 


20 i /ms 

















图 4-11 第 一 阶段 控制 脉冲 示意 图 








这 种 方法 易 实 现 ， 也 很 容易 想到 ， 如 果 舵 机 只 是 转动 一 个 周期 的 话 ， 这 种 脉冲 发 送 方 面 
无 疑 是 最 简单 且 最 实用 的 。 而 实际 的 情感 机 器 人 脉冲 控制 是 一 个 很 复杂 的 过 程 ， 在 多 周期 、 
多 动作 参数 的 情况 下 ， 这 种 方法 就 不 能 达到 预期 的 控制 要 求 了 。 原 因 是 采用 此 种 方法 来 达到 
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预期 的 控制 要 求 ， 所 涉及 的 变量 太 多 ， 控 制 运算 也 很 复杂 。 

下 面 所 要 介绍 的 能 机 控制 脉冲 发 送 方式 ， 经 实验 证 明 是 一 种 比较 简单 而 且 容易 实现 的 方 
法 。 如 图 4-12 所 示 ， 胡 机 控制 脉冲 由 1 号 舵 机 至 17 号 舵 机 顺 次 发 送 。 这 里 所 谓 的 顺 次 发 送 
舵 机 的 控制 脉冲 ， 并 不 是 指 前 一 个 舵 机 的 控制 脉冲 发 送 完 毕 之 后 青 发送 下 一 个 舵 机 的 控制 肪 
冲 ， 而 是 如 图 4-12 所 示 的 那样 ， 当 前 一 个 舵 机 的 控制 脉冲 高 电 平 截止 之 后 紧 接着 就 发 送 下 
一 个 能 机 的 控制 脉冲 高 电 平 ， 这 样 依次 排列 下 来 ， 当 第 17 人 台 舵 机 的 控制 脉冲 高 电 平 截止 之 
后 ,开始 执 行 数据 处 理 和 位 置 判断 等 函数 。 等 舵 机 的 运动 处 理 程序 执行 完毕 之 后 ， 表 重新 轮 
回 依次 输出 下 一 个 周期 的 17 台 舵 机 的 控制 脉冲 。 这 种 脉冲 发 送 方式 实现 起 来 同样 很 简单 ， 
而 且 运 动 后 期 处 理 不 是 很 复 森 ， 可 以 较 好 地 实现 。 


第 一 台 能 机 控制 脉冲 和 
第 二 台 能 机 控制 脉冲 本 由 二 




















第 z 台 能 机 控制 脉冲 a 2 i 
smarem -—F L____J- L_ 


20 时 间 (ms) 











图 4-12 第 二 阶段 控制 脉冲 示意 图 





不 过 这 种 方法 存在 一 个 问题 ， 即 这 样 输出 舵 机 的 控制 脉冲 后 ， 阴 机 的 脉冲 周期 有 可 能 会 
大 于 舵 机 的 标准 周期 20ms。 现 在 就 来 分 析 一 下 此 问题 产生 的 原因 。 首 先 假设 每 一 个 舵 机 控 
制 脉冲 的 高 电 平 宽度 均 为 舵 机 有 效 高 电 平 宽度 的 最 大 值 2. 3ms。 这 样 按照 所 采用 的 脉冲 发 送 
方式 可 以 计算 出 第 一 台 舵 机 的 脉冲 周期 最 大 值 可 以 达到 . 
2.3ms x17 = 39. 1ms (4-1) 
男 一 方面 ， 如 果 每 一 个 舵 机 的 高 电 平 脉冲 宽度 均 为 舵 机 有 效 宽度 的 最 小 值 0. 7ms。 这 样 
按照 所 采用 的 脉冲 发 送 方式 可 以 计算 出 第 一 台 舵 机 的 脉冲 周期 最 小 可 以 达到 : 
0.7ms x17 = 11.9ms (4-2) 
由 于 数据 处 理 及 判断 函数 所 需 时 间 很 得 ， 也 就 是 在 ns 级别 ， 所 以 可 以 忽略 。 从 式 (4-1) 
和 (4-2) 计算 可 知 ， 如 果 采 用 顺 次 发 送 控 制 脉冲 的 方法 ,理论 上 一 台 舵 机 脉冲 周期 的 长 度 
在 11.9ms 与 39.1ms 之 间 ， 并 不 是 固定 不 变 的 20ms。 但 是 这 只 是 理论 上 的 计算 ,实际 上 和 情 
感 机 器 人 的 整体 运动 规律 ， 不 可 能 每 个 舵 机 都 是 0° 或 者 都 是 180*， 所 以 在 实际 运动 过 程 中 ， 
每 个 舵 机 的 周期 宽度 基本 在 20ms 左右 变化 的 。 由 KRS-784 ICS 型 号 舵 机 的 技术 参数 可 知 ， 
脉冲 周期 宽度 在 8ms 到 20ms 之 间 都 是 符合 其 运动 要 求 的 ， 而 对 于 脉冲 周期 宽度 超过 了 20ms 
的 情况 ， 则 会 出 现 这 样 的 现象 ， 就 是 周期 宽度 超过 20ms 的 部 分 ， 舵 机 是 处 于 不 受 力 状态 
的 ， 也 就 是 说 舵 机 将 会 有 儿 个 毫秒 处 于 无 力矩 状态 。 但 是 对 于 整个 机 器 人 运动 来 说 ， 儿 个 毫 
秒 的 无 力矩 状态 ， 机 带 人 的 机 械 结构 是 不 能 反映 出 来 的 ， 也 就 是 虽然 处 于 无 力矩 状态 ,但 是 
还 没有 等 机 器 人 的 机 械 结 构 有 什么 动作 ， 这 几 个 毫秒 的 时 间 已 经 过 去 了 ， 下 一 个 运动 脉冲 已 
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经 到 达 。 因 此 ， 顺 次 给 17 台 舵 机 发 送 脉冲 的 过 程 中 ， 无 论 是 周期 宽度 不 足 20ms 的 脉冲 还 是 
周期 超过 20ms 的 脉冲 ， 对 整个 机 器 人 的 有 具体 动作 都 没有 实质 性 的 影响 。 在 实际 的 艇 机 脉冲 
发 送 过 程 中 ， 我 们 采用 了 顺 次 发 送 脉冲 的 方法 ， 经 实验 证 明 ， 此 种 方法 是 完全 可 行 而 且 可 
靠 的 。 

4. 舵 机 运动 方向 控制 

在 艇 机 控制 中 ， 每 个 舵 机 的 初始 位 置 、 目 标 位 置 都 不 尽 相同 ， 每 个 舵 机 的 转动 方向 也 按 
照 运动 数据 的 要 求 有 所 区 别 。 要 想 让 舵 机 按照 预定 的 动作 转动 ， 舵 机 转动 方向 的 正确 判断 是 
一 个 很 重要 的 因素 。 在 情感 机 器 人 控制 系统 中 ， 每 一 个 舵 机 都 有 相应 的 方向 判断 函数 ， 且 每 
一 个 判断 函数 都 是 相互 独立 的 。 这 样 ， 每 个 舵 机 的 运动 也 相应 比较 独立 ， 运 动 更 加 灵活 ,不 
会 受到 其 他 ~ 舵 机 运动 状态 的 干扰 。 

舵 机 运动 方向 判断 函数 共 17 组 ， 同 17 台 舵 机 一 一 对 应 ， 其 判断 顺序 同 脉冲 发 送 顺序 一 
样 顺 次 排列 ， 即 17 台 舵 机 的 控制 脉冲 发 送 完 毕 后 先 执 行 第 1 号 舵 机 方向 判断 函数 ， 然 后 是 
第 2 号 舵 机 ， 一 直到 第 17 号 艇 机 判断 函数 。 舵 机 方向 判断 函数 所 完成 的 任务 是 : 首先 判断 
舵 机 是 否 转动 到 了 目标 位 置 ， 如 果 没 有 转动 到 ， 则 下 一 个 周期 继续 转动 ， 舵 机 转动 方向 不 
变 ; 如 果 已 转动 到 指定 的 目标 位 置 ， 则 判断 下 一 个 周期 舵 机 的 转动 方向 。 判 断 方 法 是 将 本 周 
期 舵 机 的 目标 位 置 值 和 下 一 个 周期 的 艇 机 目标 位 置 值 相 比 较 ， 如 果 前 者 大 于 后 者 ， 则 下 一 个 
周期 舵 机 的 转动 方向 为 负 方 向 ， 反 之 则 为 正方 向 ， 这 里 所 谓 的 正 负 方向 是 相对 于 当前 转动 方 
向 而 言 的 。 

5. 舵 机 到 达 目 标 位 置 判 断 

在 情感 机 器 人 舵 机 控制 过 程 中 ， 航 机 是 否 转动 到 指定 的 目标 位 置 是 一 个 很 关键 的 问题 ， 
直接 关系 到 情感 机 器 人 是 否 能 够 高 质量 地 完成 指定 动作 。 舵 机 转动 的 目标 位 置 通常 用 一 个 数 
值 表示 ， 它 是 通过 前 面 舵 机 速度 分 辨 率 计算 出 来 的 。 在 本 书 中 舵 机 在 0° 时 的 位 置 值 定义 为 
0，180* 时 的 位 置 值 定义 为 200， 能 机 位 置 与 其 定义 的 数值 呈 线 性 关系 ， 由 此 可 知 ， 当 位 置 
值 是 100 的 时 候 ， 对 应 的 舵 机 位 置 是 90"。 通 机 控制 脉冲 高 电 平 的 宽度 也 是 用 数值 来 衡量 
的 ， 并 且 所 定义 的 数值 和 舵 机 位 置 所 定义 的 数值 一 一 对 应 ， 对 应 的 依据 就 是 两 种 数值 都 可 以 
换算 成 相应 的 角度 值 。 例 如 ， 舵 机 位 置 为 90* 的 时 候 定义 的 数值 为 90， 则 与 之 相对 的 舵 机 
90°? 时 的 脉冲 高 电 平 宽度 所 定义 的 数值 也 为 90 ， 这 样 描述 能 机 位 置 的 数值 和 描述 脉冲 高 电 平 
宽度 的 数值 得 到 了 统一 ， 通 过 判断 脉冲 高 电 平 宽度 数值 与 舵 机 目标 位 置 数 值 的 大 小 关系 便 可 
以 确定 舵 机 是 否 转动 到 了 目标 位 置 。 

前 面 判断 的 是 单个 舵 机 是 否 达 到 指定 位 置 ， 所 有 动作 都 是 需要 17 台 舵 机 来 协调 配合 ， 
对 于 同一 个 运动 周期 来 说 ， 每 个 舵 机 的 转动 角度 并 不 相同 ， 也 就 是 当 所 有 的 艇 机 同时 转动 所 
达到 各 自 目标 位 置 的 时 间 不 同 。 舵 机 的 控制 脉冲 发 送 并 不 是 舵 机 转动 到 目标 位 置 之 后 就 立即 
发 送 下 一 组 运动 数据 控制 脉冲 ， 而 是 17 台 舵 机 均 达 到 指定 的 目标 位 置 之 后 ， 才 统一 发 送 下 
一 组 控制 脉冲 。 为 使 17 台 舵 机 在 下 一 个 周期 开始 的 时 候 能 够 依然 同时 转动 ， 需 要 在 程序 中 
设立 一 个 标志 位 。 当 单个 舵 机 转动 到 目标 位 置 的 时 候 ， 标 志 位 的 值 为 0， 当 17 台 舵 机 均 转 
动 到 目标 位 置 时 ， 标 志 位 的 值 置 1， 此 时 机 器 人 执行 下 一 个 动作 运动 数据 ， 同 时 发 送 相应 的 
控制 脉 串 ， 这 样 就 保证 了 舵 机 运动 的 整体 性 和 规律 性 。 








































































































72 


4.4 舵 机 在 情感 机 器 人 中 的 应 用 


4.4.1 下 位 机 控制 


下 位 机 采用 性 价 比 很 高 的 PIC16F877A 单片机 芯片 。 下 位 机 电路 在 接收 到 上 位 机 动作 
指令 号 后 ， 通 过 必要 的 外 围 电路 驱动 电机 进行 运动 控制 。 这 部 分 硬件 电路 主要 包括 
LPC2132 微 控制 器 及 上 电 / 按 键 复位 电路 、 唱 振 电路 等 基本 外 围 模 块 、 电 源 模块 、 串 口 通 
信 模 块 、 舵 机 接口 电路 、 无 线 串 口 通信 接口 和 大 容量 串 行 E2PROM 等 。 本 部 分 电路 板 如 
图 4-13 所 示 。 











4-13 多 路 舵 机 控制 板 





4.4.2 上 位 机 控制 软件 


上 位 机 控制 软件 由 北京 科技 大 学 机 器 人 研究 课题 小 组 独立 开发 ， 本 部 分 上 位 机 软件 的 作 
用 是 生成 机 器 人 的 运动 数据 ， 并 对 机 器 人 的 运动 数据 进行 传输 和 编辑 。 其 主 界面 如 岁 4-14 
FZR o 

控制 软件 的 主 界面 可 以 分 为 以 下 几 个 区 域 : 菜单 控制 区 ， 速 度 控制 区 ， 同 步 选择 控制 
区 ， 舵 机 微调 控制 区 ， 数据 发 送 控制 区 ， 运 动 数据 显示 区 以 及 功能 控制 区 等 。 在 菜单 控制 模 
块 中 有 一 个 初始 位 置 设 定 菜单 ， 点 击 后 出 现 的 子 菜单 如 图 4-15 所 示 。 

其 中 ， 三 个 子 菜单 对 应 机 器 人 初始 化 位 置 控制 的 三 个 选项 。 通 过 设置 初始 化 位 置 子 
菜单 ， 可 以 设置 机 器 人 上 电 后 的 初始 化 位 置 。 点 击 浏览 按 钮 后 ， 就 可 以 把 要 加 载 的 机 咒 
人 运动 数据 读 取出 来 ， 点 击发 送 按钮 ， 则 控制 软件 开始 向 机 电 综合 平台 发 送 数据 。 如 果 
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图 4-14 控制 软件 主 界面 





文件 Eze 8S 音乐 表演 HED 
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读 职 初始 位 置 数 据 
| 识 定 机 器 小 的 初 嫁 位 置 











图 4-15 初始 化 菜单 示意 图 


数据 传输 成 功 ， 点 击 确定 之 后 ,点击 运行 按钮 ， 机 电 综合 平台 就 可 以 按照 传输 的 数据 进 
行动 作 了 。 

此 外 ， 软 件 还 可 以 对 数据 进行 微调 。 在 舵 机 微调 控制 区 选择 其 中 的 一 组 数据 ， 双 击 之 

， 这 组 数据 就 可 以 在 上 面 的 各 个 滑动 块 中 体现 出 来 。 通 过 拉动 滑动 块 ， 可 以 改变 每 个 CHx 

应 的 数据 ， 调 整 完毕 后 点 击 修改 按钮 就 可 以 把 改动 的 数据 重新 保存 到 原来 的 位 置 。 界 面 上 
oa 个 同步 的 选项 ， 有 ON 和 OFF 两 个 选项 ， 如 果 选 OFF 选项 ， 点 击发 送 按钮 将 调整 后 
的 数据 发 送 ， 但 此 组 数据 并 不 执行 。 如 果 选 择 ON 选项 ， 则 在 滚动 条 调整 数据 的 时 候 ， 多 路 
舵 机 控制 板 就 可 以 控制 能 机 转动 ， 从 而 使 表情 机 器 人 同步 的 作出 相应 动作 ， 也 就 是 可 以 实时 
显示 微调 结果 。 

随 着 机 器 人 动作 数量 的 增加 ， 如 果 按 照 上 面 介绍 的 方法 对 动作 数据 进行 一 一 传送 的 话 ， 
会 使 工作 量 又 增 ， 而 且 不 利于 对 动作 的 整体 把 握 。 因 此 ， 我 们 在 上 位 机 软件 中 增加 了 动作 编 
排 。 动 作 编 排 的 操作 菜单 如 图 4-16 所 示 。 

动作 顺序 编排 的 界面 如 图 4- 17 所 示 ， 图 中 可 以 看 出 ， 最 多 可 以 同时 编排 20 组 动作 进行 
传送 。 假 设 我 们 存 取 机 器 人 动作 数据 时 的 顺序 为 1) 点 头 ; 2) WHR; 3) 皱眉 ; 4) 左 转 
头 ; 5) ARK; 6) 向 右 看 ; 7) MAA; 8) 向 上 看 ， 若 现在 想 让 它 执行 6) 向 右 看 一 一 
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图 4-16 动作 编排 菜单 





1) 点 类 一 一 7) 向 左 看 一 一 4) 左 转 头 ， 则 依次 点 击 动 作 6、 动 作 1、 动 作 7、 动 作 4 即 可 ， 
此 时 ， 我 们 会 注意 到 右边 框 里 1 一 4 中 的 数据 也 发 生 了 改变 。1 一 4 对 应 的 数据 变 成 为 6、1、 
7、4， 点 击 确定 后 返回 主 界面 ， 再 点 击 顺序 ， 即 可 按 要 求 运行 。 至 此 ， 我 们 就 可 以 看 到 情感 
机 夫人 的 各 种 表情 ， 本 章 开 始 部 分 已 截取 部 分 表情 图 片 ， 妆 然 我 们 也 可 以 通过 修改 或 者 扩展 
得 到 更 多 的 表情 和 动作 。 
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图 4-17 动作 执行 顺序 编排 界面 


E 考 题 


4-1 能 机 的 基本 结构 有 哪 几 部 分 ， 它 的 工作 原理 是 什么 ? 

4-2 试 列 出 舵 机 运动 速度 控制 两 种 方案 的 优 缺 点 。 

4-3 下 位 机 控制 采用 的 是 哪 种 忆 片 ? 其 主要 包括 哪 几 部 分 ? 

4-4 ”试用 上 位 机 控制 软件 进行 动作 安排 ,实现 微笑 说 话 ， 睛 睡 打上 师 等 动作 。 
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BS PL ah BE be 


俗话 说 “ 百 闻 不 如 一 见 ”， 眼 睛 感知 到 的 信息 对 认 知 有 着 非常 大 的 帮助 。 让 计算 机 或 者 
机 器 人 具有 视觉 ， 能 够 感知 和 处 理 所 接收 到 的 信息 ， 是 人 类 多 年 以 来 的 梦想 。 计 算 机 视觉 
(也 称 为 机 器 视觉 ) 除了 包括 对 视觉 信息 的 获 了 到、 传输 、 处 理 以 及 存储 以 外 ， 还 包括 视觉 知 
nn 可 分 为 CMOS 和 CCD 两 种 ) 
将 被 摄取 目标 转换 成 图 像 信号 ， 传 送 给 专用 的 图 像 处 理 系统 ， 根 据 像素 分 布 和 亮度 、 颜 色 等 
信息 ， 转变 成 妆 字 化 信号 ， 园 像 系 统 对 这 些 信号 进行 各 种 运算 来 抽取 目标 的 特征 ， 进 而 根据 
判别 的 结果 来 控制 现场 的 设备 动作 。 

本 章 首先 介绍 了 计算 机 视觉 的 基础 知识 、 相 关 技 术 以 及 应 用 范围 ， 然 后 主要 介绍 机 器 视 












































觉 在 双 摄像 机 视线 追踪 系统 中 的 应 用 ， 涉 及 视线 追踪 及 标定 、 摄 像 机 标定 等 技术 。 图 5-1 所 
示 为 双 摄像 机 追踪 系统 的 原理 图 和 实物 图 。 
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图 5-1 双 摄 像 机 追踪 系统 的 原理 图 和 实物 图 


5.1 机 器 视觉 概述 


5.1.1 Marr 的 计算 机 视觉 理论 框架 


ee 需要 综合 运用 其 他 多 个 学 科 的 知识 ， 如 计算 机 科 
学 、 认 知 学 、 生 命 科 学 、 心 理学 甚至 社会 学 等 众多 学 科 的 知识 。20 世纪 80 年 代 初 ， 英 国 的 
eae ae 心理 物理 学 、 神 经 生理 学 及 临床 精神 病 学 
的 研究 成 果 ， 提 出 了 第 一 个 较为 完善 的 视觉 系统 框架 ， 这 一 框架 虽然 在 细节 其 至 在 主导 思想 
方面 尚 存 在 大 量 不 完备 的 方面 ， 但 仍然 是 广大 研究 者 们 所 接受 的 基本 框架 

D. Marr 从 信息 处 理 系统 的 角度 出 发 ， 认 为 对 此 系统 的 研究 应 分 为 三 个 层次 ， 即 计 算 理 

论 层次 、 表 达 与 算法 层次 、 硬 件 实 现 层次 。 分 别 解 决 的 问题 是 各 部 分 的 输入 输出 是 什么 以 及 
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之 间 的 关系 ， 各 模块 输入 输出 与 内 部 的 信息 表达 以 及 实现 计算 理论 所 规定 的 目标 的 算法 ， 如 
何 用 硬件 实现 以 上 算法 三 大 问题 。 


5.1.2 应 用 范围 及 前 景 


正 是 由 于 计算 机 视觉 学 科 不 是 单独 的 一 门 学 科 ， 因 此 它 有 许多 有 趣 的 研究 方向 吸引 着 不 
少 研 究 者 们 ， 这 些 研究 包括 底层 图 像 处 理 、 图 像 分 割 、 图 像 分 类 、 物 体 识别 、 物 体 跟踪 、 立 
体 视觉 等 。 

计算 机 视觉 的 应 用 前 景 也 是 非常 丰富 的 ， 无论 从 前 沿 的 高 科技 产品 还 是 我 们 的 日 常生 活 
中 ， 都 有 可 能 看 到 计算 机 视觉 技术 的 影子 ， 例 如 自然 图 像 检 索 ， 航 拍 图 像 处 理 ， 人 脸 识 别 ， 
工业 控制 ， 次 品 检测 ， 医 学 图 像 处 理 和 视频 监控 等 等 。 在 我 们 的 情感 机 事 人 系统 中 ， 计 算 机 
视觉 技术 更 是 发 挥 了 不 可 蔡 代 的 重要 作用 。 下 面 主 要 介绍 一 下 一 类 机 天 视觉 系统 标定 系统 的 
实现 。 








5.2 ”机 器 视觉 系统 标定 算法 


摄像 机 视线 追踪 系统 是 机 咒 视 觉 的 一 个 重要 应 用 方向 ， 在 人 与 情感 机 咒 人 交流 的 过 程 
中 ， 机 器 人 需要 采集 到 人 的 一 些 信息 才能 做 出 合适 的 反应 ， 在 摄像 机 视线 追踪 系统 中 ， 我 们 
通常 采用 双 摄 像 机 标定 ， 下 面 我 们 对 机 顺 视 觉 中 的 摄像 机 标定 算法 进行 介绍 。 


5.2.1 ARER 


模型 标定 平面 模板 中 图 像 角 点 的 提取 : 用 激光 打印 机 打印 一 张 7 x7 个 正方 形 的 平面 图 
像 作为 标定 模板 。 取 每 个 正方 形 的 顶点 作为 特征 点 ， 所 提取 特征 点 需要 通过 精确 的 角 点 检测 
算法 实现 。 


5.2.2 SUSAN 算法 原理 


角 点 是 图 像 中 重要 的 纹理 特征 ， 它 是 表征 图 像 边 界 上 曲率 突变 的 点 ， 在 图 像 匹 配 、 目标 
识别 与 跟踪 、 运 动 估计 中 均 有 重要 的 应 用 。SUSAN 算法 是 基于 图 像 灰 度 信 息 的 角 点 检测 算 
法 ， 它 提出 了 吸收 核 同 值 区 的 概念 ， 即 在 图 像 上 移动 圆 形 模板 ， 知 模板 内 的 像素 灰 度 与 模板 
中 心 的 像素 灰 度 差 值 小 于 给 定 的 门限 ， 则 认为 该 点 与 中 心 点 是 同 值 的 ， 而 由 满足 这 样 条 件 的 
像素 组 成 的 区 域 则 叫做 吸收 核 同 值 区 (Univalue Segment Assimilating Nucleus USAN), SUSAN 
角 点 检测 算法 的 核心 思想 是 平坦 区 域 像素 点 的 USAN 值 最 大 ， 边 界 点 次 之 ， 角 点 最 小 ; 而且 
角 点 越 兴 ， 吸 收 核 同 值 区 越 小 。 因 此 通过 设 定 灰 度 浆 值 和 USAN 面积 国 值 ， 可 判断 角 点 位 
置 ，USAN 面积 阔 值 可 以 通过 下 面 的 方法 进行 设 定 。 

首先 ， 设 置 一 个 判别 函数 来 判断 模板 中 的 像素 是 否 属 于 USAN 区 域 。 常 用 的 判别 函数 
如 下 : 




















1 ,fl 77) -7 六) | se 
e(T,r) = hie (5-1) 
0, if |I(r) - I(r) | >t 


其 中 ，m 是 模板 中 心 点 的 位 置 , > 是 圆 形 窗 内 其 他 任 一 点 的 位 置 ，7(r ) 表示 图 像 灰 度 
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(E, t MEHKE RE, c 叫做 相似 比较 函数 ， 是 输出 的 判别 值 。 
其 次 ， 利 用 下 式 统 计 USAN 区 域 面 积 的 大 小 。 
n(n) = Delt yr) (5-2) 
再 次 ， 利 用 下 式 比 较 SUSAN 区 域 面积 n ATL Ee 的 大 小 ， 确 定 图 像 的 边缘 。 
四 -n(ro),if n(n)< 
RGR) = 4° 1 € (5-3) 
0, n(ry) 2g 

其 中 , R (4) 表示 图 像 边缘 响应 。 在 进行 图 像 边缘 信息 提取 时 ，g 的 取 值 要 大 一 些 ， 
一 般 设 置 为 3 /4,， 7 是 能 取得 的 最 大 值 。 
最 后 ， 搜索 初始 边缘 响应 中 的 局 部 最 大 值 ， 将 其 对 应 的 像素 点 标记 为 角 点 。 


5.2.3 改进 的 SUSAN 算法 


为 减少 图 像 遍 历时 的 运算 量 ， 需 要 先 对 模板 图 像 进行 有 针对 性 的 预 处 理 。 角 点 一 定 是 边 
Re, JOA canny 边缘 检测 算 子 对 灰 度 图 像 进行 边缘 检测 ， 获 得 边缘 点 的 位 置 ; 图 像 的 孤立 
点 是 伪 角 点 ， 在 对 灰 度 图 像 进行 边缘 检测 后 ， 对 边缘 空间 使 用 滤波 窗口 滤 除 孤立 噪声 点 ， 进 
行 伪 角 点 的 排除 。 对 SUSAN 算法 的 改进 主要 有 如 下 两 个 方面 : 

1) 对 边缘 点 利用 USAN 原理 检测 角 点 。 为 了 获得 更 加 稳定 、 有 效 的 信息 检测 ， 应 实现 
闵 值 和 比较 函数 的 自 适应 选取 。 用 下 式 作 为 比较 函数 。 


ICP - 179) 
et ay cer? (5-4) 
通过 制作 正方 形 面积 不 同 的 模板 获得 灰 度 值 和 对 比 度 不 同 的 图 像 ， 经 过 分 析 ， 不 同 对 比 
度 下 + 上 的 自 适应 灰 度 阔 值 应 满足 




















t=kx255 (5-5) 

大 量 的 实验 表明 ,i 的 取 值 在 占 到 灰 度 绝对 差 值 20% ~ 30% 的 时 候 ， 能 够 较 好 地 提取 不 
同 对 比 度 下 的 角 点 特征 ， 比 例 系数 一 般 取 0.20 ~0.30。 

2) 角 点 检测 精度 决定 了 摄像 机 的 标定 精度 ， 因 此 应 求 得 角 点 的 亚 像素 空间 坐标 。 对 于 
灰 度 图 像 ， 其 像素 的 亚 像素 空间 坐标 可 根据 像素 的 灰 度 值 求 取 二 维 占 空 比 来 获得 。 一 种 比较 
简单 的 算法 是 通过 a = (255 -g) /255 ( g 表示 该 像素 的 灰 度 值 ) 来 计算 空间 像素 增 量 V: 
当 aw=0 或 w=1 时 ,V=0.5; 当 0 <a<0.5 时 , vet; %40.5<a<1 Hf, YV=1-a, WK 
坐标 (2, 3) 点 的 灰 度 值 为 220， 则 其 增 量 为 (0.370，0.370 ) ， 亚 像素 空间 坐标 为 
(2.370, 3.370), 


5.2.4 ”标定 算法 


成 像 模型 的 求解 步骤 为 : 先 求解 线性 方程 组 得 出 投影 矩阵 M， 再 由 投影 矩阵 元 素 之 间 
的 约束 关系 分 解 出 内 外 参数 ， 最 后 求 出 畸变 系数 ， 优 化 内 参数 。 在 求解 外 部 参数 时 不 考虑 畸 
变 ， 即 在 =0, k, =0 的 情况 下 求解 线性 方程 。 

当 已 知 n 个 点 的 世界 坐标 和 像素 坐标 ， 则 可 以 联 立 2n 个 方程 




















u; = MX yi + Ng Ni FMX yi + m, (5-6) 


MoX pi 十 MiX yj FMX yj; +My 
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MX, MEX pi + TMX; + Mg 





P.: = 
l 
MYX wi 十 Mio pi 十 IM Xp; 十 77212 


F Y wi Zwi 1 0 0 0 0 ~ UX yj T UY wi i U2 yj | 


0 0 0 0 X wi Yui Zwi 1 = VX yi a Vi wi g V 2 i 
即 (5-7) 
Li77212 
Lm, |m, M, M, Ms Me M, Mg Mo Mig my, | = 
ViM 


& my =1。 方 程 中 有 11 个 未 知 数 ， 只 要 nn > 6 即 可 解 出 。 一 般 取 方程 数目 远大 于 未 知 
数 数 目 ， 这 时 采用 伪 逆 法 求 该 超 定 方程 得 最 小 二 乘 解 。 
解 得 m+ mu 后 ， 











T 
rr T h b Y h i" 
f. Ss Uy O | i f s w OJ, 1 Ma 
Ty Ts re tt, Y, i, T 
0 f z 0 |=i0 f w O| 7 SALE m (5-8) 
T Tg To t, y t 
0 0 1 0 0 0 1 O44 * o 1 
0 0 1 0 1 2 





由 上 式 可 解 出 摄像 机 的 外 参数 和 不 带 畸 变 的 内 参数 。 由 于 y'， yi, y ETEM 
位 向 量 ， 所 以 有 











1 1 p. iix a 
T 3 3° Y3 3 X Y3 1 2 T 
Y = yf, = Vp = J= Y2 = 一 ZoY by 
3 | BP? | | ita a 

T 

Is 1 





sS 





T a T = T T a 
Yı = [yz UoY3 Jh (5-9) 
t, =t, (ms Vo )/f, t, = (tm — ugt, — st, )/f, 

rir MEAS AY PSE GE EORTC, DERRETE R, k, k IEN 0. 
5.2.5 ”空间 点 的 三 维 坐标 

双 摄 像 机 标定 的 作用 是 建立 一 个 统一 的 世界 坐标 系 ， 使 整个 视线 追踪 系统 都 处 于 同一 坐 
标 系 中 ， 我 们 设 定 左 摄像 机 的 光 心 为 世界 坐标 系 的 中 心 。 

设 定 左 摄像 机 0 -xyz 位 于 世界 坐标 系 原点 且 无 旋转 ， 图 像 坐标 系 为 0 -XY REN fi, 
有 摄像 机 坐标 系 为 0, -x,y,z, ， 图 像 坐 标 系 为 0, -了 ， 焦 距 为 +， 根 据 摄像 机 透视 变换 模型 有 


Y2 
= 1 f= nr) tos 7 82 
3 














x x 
X1f 0 0 0 XI FF 000 
中 | of 0 olf? sf i fo ol” (5-10) 
gZ FA 
1J lo o 1 oJ, iJ Lo010|” 
O — xyz 和 O, 一 x,y,z, 之 间 可 通过 空间 转换 矩阵 相互 表示 : 
X. Tr, h fhs by x 
Y, |=| r re t |? |, M= [RIT] (5-11) 
Zz 
Zi 77 Tg To t, 1 


式 中 , R, 7 为 0-xz 和 0.-xyz 之 间 的 旋转 矩阵 和 原点 之 间 的 平移 变换 矢量 。 
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对 于 O -xyz 坐标 系 中 的 空间 点 ， 两 摄像 机 所 拍摄 图 像 中 ， 像 点 间 的 对 应 关系 为 
zY 











X fri fr, frs ft, 
S, He fits fr j ah (5-12) 
z 
1 f7 78 79 t, 1 
由 此 可 得 空间 点 的 三 维 坐标 : 
区 EX 
y =2X/f, 
m FGA =X.) 
X CrX treX +firo) -f(rX +r X, + firs) 
(5-13) 


E At,- Y,t,) 
Y(T Xi +r Y, +firo) -f.(1,X, +r;X +fre) 
已 知 两 摄像 机 的 内 参数 及 空间 点 在 左右 摄像 机 图 像 中 的 图 像 坐 标 时 ， 即 可 按照 上 述 方法 
得 到 被 测 点 的 三 维 坐标 。 


5.3 ”摄像 机 标定 技术 


情感 机 絮 人 的 视觉 系统 从 机 器 人 的 眼睛 ， 即 摄像 机 ， 获 取 图 像 信 息 ， 计 算得 到 三 维 环境 物 
体 的 位 置 、 形 状 等 几何 信息 ， 并 由 此 测量 、 识 别 环境 中 的 物体 。 图 像 上 每 一 点 的 亮度 反映 了 空 
间 物 体 表 面 某 点 反射 光 的 强度 ， 而 该 点 在 图 像 上 的 位 置 则 与 空间 物体 表面 相应 点 的 几何 位 置 有 
关 。 这 些 位 置 的 相互 关系 由 摄像 机 成 像 几 何 模型 来 决定 。 该 几何 模型 的 参数 称 为 摄像 机 参数 ， 
实验 并 计算 得 到 这 些 参 数 的 过 程 称 为 摄像 机 标定 。 在 对 摄像 机 标定 之 前 ， 必 须 先 确定 摄像 机 的 
模型 ， 称 为 摄像 机 建 模 。 摄 像 机 标定 就 是 对 摄像 机 自身 的 几何 和 光学 特性 有 关 的 参数 〈 称 为 摄 
机 内 部 参数 ) ， 以 及 它 相 对 于 某 一 世界 坐标 系 的 三 维 位 置 和 方向 〈 称 为 摄像 机 外 部 参数 ) 进行 
确定 。 其 标定 方法 主要 分 为 传统 标定 方法 、 基 于 主动 视觉 的 标定 方法 和 自 标 定 方法 。 

摄像 机 成 像 模型 是 影响 畸变 精度 的 主要 因素 之 一 ， 在 分 析 了 大 量 的 摄像 机 模型 的 基础 
上 ， 采 用 一 种 基于 直线 的 摄像 机 镜头 去 畸变 方法 ， 针 对 标定 参数 较 多 的 问题 ， 首 先进 行 畸变 
校正 ， 青 标定 摄像 机 的 内 外 参数 。 在 畸变 校正 的 过 程 中 ,使 用 线性 迭代 方法 ， 有 效 避 免 了 非 
线性 算法 的 初 值 选择 困难 、 易 于 收敛 于 局 部 极 小 值 等 问题 ， 且 精度 较 高 。 

标定 的 过 程 如 下 : 

1) 拍摄 多 张 不 同 姿态 的 标定 模板 ; 

2) 检测 图 像 相 匹配 的 特征 点 ， 将 坐标 归 一 化 ; 

3) 根据 摄像 机 畸变 模型 进行 校正 ; 

4) 佑 计 每 张 图 像 的 单 应 性 矩阵 ; 

5) 估计 摄像 机 的 内 外 参数 。 


5.3.1 摄像 机 成 像 模型 


1. 理想 的 摄像 机 成 像 模 型 
理想 的 无 透视 畸变 成 像 模型 是 小 孔 成 像 模型 ， 它 是 最 简单 的 摄像 机 成 像 模型 。 设 空间 一 
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点 P(X，7，Z) ， 其 在 图 像 上 的 透射 投影 为 P(x，y) ， 设 /为 摄像 机 焦距 ， 根 据 透射 投影 的 
关系 有 


nfs 
y=ft 
FARE 
0 0 O 5 
y |= f y 
1 0 0 1 0 i 





根据 世界 坐标 系 与 其 在 图 像 上 的 投影 关系 可 得 











XxX. 
l/dx 0 u 0 0 0 
ls 0 1/d A 0 olf T| Y, 
v |= Y Vo f 0 1lz 
1 0 0 1 {LO 0 0 
1 
Xy 
u] [f 0 wafi 0 0 0 
R TY, 
Bp AP le Dde He A Oe oie 
1 0 0 1/]L0 0 1 0 








1 
考虑 到 读 取 图 像 过 程 中 可 能 会 导致 CCD 人 敏感 像 元 数 和 缓存 中 像素 数 不 相 等 的 情况 ， 定 
义 一 个 比例 因子 s 作为 补偿 。 上 式 最 终 可 表示 为 














ua S$ ulll 0 0 0 
so x nfo ro of® rh 
v |= V 
po “0 0 liz 
1} Lo o 1JL0 0 1 0 
fi 5 uo 


RIKERE K=|0 f, v 
0 0 1 
有 关 。 而 RR、7 为 摄像 机 外 参数 ， 由 摄像 机 相对 于 
世界 坐标 系 的 方位 决定 。 

2. 摄像 机 畸变 模型 

在 实际 应 用 中 ， 由 于 摄像 机 镜头 的 畸变 和 装 
配 误差 等 影响 ， 实 际 得 到 的 图 像 存在 畸变 。 因 此 ， 
在 精度 要 求 高 的 场合 ， 需 要 考虑 图 像 的 畸变 。 图 
像 畸 变通 常 包括 径 向 畸变 、 切 向 畸变 和 薄 棱镜 畸 
变 , 图 5-2 所 示 为 理想 无 畸变 图 像 点 位 置 和 有 畸 A] 5-2 径 向 畸变 与 切 向 畸变 
变 图 像 点 位 置 之 间 的 关系 。 图 像 点 位 置 之 间 的 关系 


为 摄像 机 标定 内 参数 矩阵 ， 其 所 有 的 参数 只 和 摄像 机 本 身 








A 
理想 成 像 点 P 





d ”实际 成 像 点 Pa 





> 


dr: 径 向 畸变 
dt: 切 向 畸变 
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畸变 模型 的 一 般 表 达 式 为 
| 加 le Ax, | 
= + 
yl Lya Ay, Ay, Ay, 
其 中 ，[x，y] "表示 理想 情况 下 的 点 坐标 ，[x,，ys] 表示 存在 畸变 的 点 坐标 。A, 为 径 向 


畸变 ，A, 为 偏心 畸变 中 的 切 向 畸变 ，A 为 注 棱 镜 畸 变 。 一 般 来 说 ， 薄 校 镜 畸变 影响 较 小 ， 
不 予 考虑 。 径 向 畸变 和 切 向 畸变 已 足够 描述 非 线性 畸变 。 











Ax, =x, (hry + kari) Ay, =ya( kiri + kari) 
Ax, =e + 2x3) +2D)% iV q Ay, 275, +2y4) + 2p1Xaya 


令 g= [k k, p, Pol", q 为 畸变 参数 向 量 ， 则 上 式 可 写 为 
x Xa 
| | j | | *Aq 
y Ya 
xari Car rå + 2x4 2% Ya | 


其 中 A= | 2 4 2 2 
Yara Yara Xaya Ta+2ya 

3. 摄像 机 模型 畸变 参数 

根据 摄像 机 畸变 的 原理 ， 我 们 观察 图 像 发 现 越 远 离 图 hy 
像 中 心 图 像 畸 变 越 严 重 , 一 条 直线 往往 变形 成 类 似 圆 孤 的 
曲线 ， 而 由 摄影 几何 可 知 ， 空 间 直 线 在 像 平面 的 投影 仍 是 p 
直线 ， 如 图 5-3 所 示 。 0 

设 空间 直线 投影 到 像 平 面 的 直线 方程 为 xsing - ycos0 + 
p=0, F, 0 是 直线 与 x HRA, p 为 直线 到 原点 的 距离 。 

设 一 组 空间 直线 投影 到 像 平 面 , $I, (i=1, 2,…n) 
为 含有 投影 直线 的 图 像 ，1; 上 包含 直线 1;，(j =1，2，…N)， 图 5-3 ”空间 直线 投影 到 像 平面 
BAL, EM AH Pir Cig, ta) (k=1, 2, ND, HB 


Xa 
/与 < 轴 夹 角 为 9,;， 到 原点 距离 p,;,。 直 线 4 满足 xjsin9, -yincos0i +p, =0， wl- h 
i l i y Ya 
























































pa Ax, Ax, 
Ay, Ay, Ay, 
(Nia + AX se + Ax; ga) sin6,; = CYiina + AY: i: + Ay; ra ) €088;; + pi; =0, 令 


Jie. 有 有 


N 
SCO Pid) = 之 E + AX se: + Ax; pa) sinO,, = (Yiina + AY i: + AY; ra ) €088;,; + p;; | 这 


样 ， 求 解 摄像 机 畸变 参数 问题 被 转换 为 一 个 求解 无 约束 最 小 值 的 问题 


min 2 > S,(0;,p;,9) 
通常 求解 这 类 问题 使 用 非 线 性 求解 算法 ， 如 共 斩 梯度 法 、L- M 法 等 。 非 线性 算法 虽然 
具有 收敛 速度 快 、 精 度 高 等 特点 ， 但 也 存在 着 初始 值 的 选择 困难 等 问题 ， 因 此 选用 了 线性 的 


选 代 算法 求解 。 上 式 也 可 以 写 为 六 YY Bag- Ca) = 0， 其 中 


i=l j=l k=l 























2sing 2cos0 
X ika ijra MNO; + Y ijn al ijra© 8G; 
4 ， 4 
X ikd ijra SNO; 十 JiiarijtdzCOsOi 
ijk 


= 5 . 
(2%: xa + Tina) sind;; + 2%; 4 1Y ijnal089;; 


2 : 
(2x; 44 + Tina) cos6;; + ii dy ijrd sind; 
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Cit = —%Xijpg8inO;; + ¥; 46080 ;; — Pi; 
我 们 按 以 下 过 程 进行 迭代 求解 : 
1) 直线 1, 的 初始 特征 点 坐标 [xi(0) ，yij(0)] ， 初 始 化 迭代 次 数 m =0; 
2) 使 用 最 小 二 乘 拟 合 直线 1; 的 参数 9,(n)、pi(n); 
3) 求解 方程 组 3-11， 得 q(n); 
4) WH E(n) =|g(n) -gl(n-1)|， WREN) <<， 转 到 6; 
5) n=n+1， 按 式 3-5 计算 (wxii(n)，yin(n))， 转 到 2; 
6) 计算 结束 。 
5.3.2 ”标定 摄像 机 参数 


在 摄像 机 畸变 校正 后 ， 我 们 采用 参考 文献 [11] 中 介绍 的 方法 进行 参数 标定 。 令 模板 
平面 的 Z 坐标 为 等， 其 中 旋转 矩阵 可 以 表示 为 R= [7，7。 rn], 其 中 7 为 摄像 机 平移 向 量 ， 


则 有 
xX 
u Xy 
HES Ty T3 T] m = 天 [六 Po | 
1 T 1 
1 
a S Uo 
其 中 efo f 4 
00 1 
H=K[r, rn TRP H HEMER, 
AH=[h, h, hy], Wh, h, hs]= AK[n rn T] 


利用 mm ， 的 正 交 关系 关系 可 以 得 到 
h,K-'K~'h, =0 
RIK- IK-! =hIK- ?Kh, 
AMEE HAs 个 自由 度 ，6 个 内 部 参数 ， 但 我 们 现在 只 能 得 到 2 个 约束 方程 。 令 























1 = s Vos -t f, 
i ree FF, 
Bi Bi, Bi; 5 i ce u f : 
B=K "K! = B B B, = 一 s = Os OJv = 0 
se | | A tee ie he R 
Bs By Bs; ; ; 
Vos = Ug f, _ YO wfs) _ mo (vo — Uo f,) Yo i 
| Fh Fh i LI: i 
注意 到 B 是 对 称 的 ， 所 以 有 : b= [Bh By By By; B Bs]。 令 H, 是 矩阵 的 第 1 列 
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可 以 得 到 hi" Bhi = vij b, HEP 
vij=[hahy hah thahy hahathahs hoha hohgthahy hahs] 
这 样 ，B 可 写 为 
pe 
| ee 
(vi by) 


如 果 有 nn 个 单 应 性 和 矩阵， 则 可 得 到 2n 个 约束 ， 显 然 ， 当 n>3 时 ， 可 求 出 6， 根据 4 的 值 和 



































l o s Vos — to f, 
fè Ff, Fèt, 
Bi By Bi 2 1 ( f ) 
- z sS 5 S\ Vos 一 ZL0 Jy v 
如 = 天 -天 = By, By B, | = FTF, FEF Pa ~ Ff, -a 
B B B u v u v v u v v 
. 和 Vos — Uo f, Yvos uf) v Vo-uf) v 1 
wt £° fe 


可 求 出 摄像 机 的 内 参数 。 
5.3.3 “实验 结果 


1. 模拟 实验 

在 试验 中 ， 设 定 了 摄像 机 参数 Of, f, S, Wo, Vo, by, by, Pi, pr] BHA [1000, 
1000, 0, 320, 240, 0.1, -0.1, 0.02, 0.02], BHAIJI 640 x 480, 

为 了 验证 本 方法 对 噪声 的 敏感 性 ， 对 各 点 加 入 噪声 [Ax，Ay] ， 单 位 为 像素 ， 噪 声 水 平 
为 〈0 一 1.0) 。 按 照 本 章 中 的 摄像 机 标定 方法 ， 在 每 个 噪声 等 级 下 进行 多 次 独立 实验 。 求 得 
每 个 噪声 级 别 下 的 摄像 机 畸变 参数 ， 根 据 求解 得 到 的 结果 重新 计算 该 点 在 图 像 坐 标 系 下 的 坐 
标 ， 并 与 该 点 的 准确 值 进行 比较 ， 得 到 重 投影 误差 ， 如 图 5$-4 所 示 ， 可 以 看 出 ， 根 据 本 方法 
求解 出 的 值 与 真实 值 差别 很 小 。 




































































0.02 
噪声 0 
| , + 
4 
| | ie it 
十 
Ne 十 
0.01r fn ra 7 
te 4 o ++ 
A a. + + 4 
+ = 
sk P - eF | + 
u E F tH + pi 
Ro of F m ET + + 
ii HEF +4 
# T 
—0.0 1 ! 
—0.01 0 0.01 0.02 
水 平方 向 重 投影 误差 /像素 





图 5-4 重 投影 误差 分 析 
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0.2 T T 
iN 
0.17 4 
ç 4 
Bn ag 
3 4 
3 + 4 
È + 
È 4. 
a as 
a 4 
| L L 
Oy 0 0.2 03 
水 平方 向 重 投影 误差 /像素 
F 
2.0 T T t ga 4 +4 T + TT F 
= | + | + 十 
+4 “Ey 
+ 十 Beate ae J 
= T ny 加 T j ae 
1.0 + is 中 J 
be wt te F 
Ae | pe 上 十 | 
g ost | seen fi J 
所 OF 4 4 4 过 
R + F | nod 
Z i | 
Œ -ost 5 | 1 十 J 
E Ra + + E+ 4 J 
H =i 7 + H+ FE 7 
au 
-1.5+ } 4H + Eg 4 
4 
—2.0 L 1 1 1 1 1 1 
-2.0 -1.5 -1.0 -0.5 0 0.5 1.0 1:5 2.0 
水 平方 向 重 投影 误差 /像素 


图 5-4 重 投影 误差 分 析 ( 续 ) 


真实 实验 
从 拍摄 的 20 幅 图 像 中 选择 一 幅 ， 其 模板 如 图 5-5a 所 示 ， 棋 盘 格 角 点 的 图 像 坐标 见 表 5-1。 


表 5-1 图 像 中 部 分 直线 上 点 的 图 像 坐标 
























































线 1 直线 2 直线 3 直线 4 
点 1 557. 4046 ，134. 4815 555. 4156, 183. 0299 553. 3464, 232. 7608 551.3941, 281.2423 
点 2 508. 3970 ，132. 5511 506. 5975, 181.2859 504. 6472, 231.3164 502. 5879, 279. 7635 
点 3 460. 2309 ，130. 6172 458. 4495, 179.5411 456. 5138, 229. 6655 454. 5398, 278. 5446 
点 4 411. 6272 ，128. 8442 409. 8345 ，177. 9986 407. 9903 ，228. 2517 406. 0938 ，277. 1896 
点 5 361. 4618 ，126. 6861 359. 7150, 176.0423 357. 8321, 226. 5564 356. 0724, 275. 7643 
点 6 311.9529, 124. 8034 310. 2505, 174. 4116 308. 3936, 225. 0008 306. 6555, 274. 2581 
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图 5-5 拍摄 的 标定 模板 
a) 原始 图 像 b) 去 畸变 后 图 像 





根据 这 些 点 ， 按 照 本 章 中 的 去 畸变 方法 ， 得 到 畸变 参数 见 表 5-2。 


表 5-2 畸变 参数 








经 过 摄像 机 畸变 校正 得 到 的 摄像 机 内 参数 矩阵 为 


fr S uo 1943. 55758 -0.00133 381. 94224 
K=/0 f, ml|= 0 1936. 63333 283. 35205 
0 0 1 0 0 1 








针对 图 5-1 中 的 模板 参数 得 到 以 下 和 矩阵 

-0.0359 0.9942 0.1018 -53.108 

0.9982 0.0307 0.0519 -51.688 

-0.0485 0.1035 -0.9934 618.678 
本 书 提出 此 种 基于 直线 的 摄像 机 镜头 去 畸变 方法 ， 针 对 标定 参数 较 多 的 问题 ， 先 进行 畸 

变 校 正 ， 再 标定 摄像 机 的 内 外 参数 。 在 畸变 校正 的 过 程 中 ， 使 用 线性 迭代 方法 ， 有 效 避 免 了 

非 线性 算法 的 初 值 选择 困难 、 易 于 收敛 于 局 部 最 小 值 等 问题 ， 且 精度 较 高 。 


5.4 双 目 追踪 系统 的 标定 


大 部 分 基于 瞳孔 一 角膜 反射 技术 的 视线 估计 可 分 基于 二 维 映射 模型 的 视线 估计 方法 和 直 
接 的 三 维 视线 估计 方法 两 类 。 对 于 直接 的 三 维 视线 估计 方法 ， 首 先 要 估计 三 维 的 视线 方向 ， 
然后 通过 视线 方向 和 屏幕 的 交点 即 可 得 到 上 采 视点 。 三 维 视线 佑 计 方法 具有 二 维 视 线 估 计 不 可 
比拟 的 几 个 优点 ,但 是 , 采用 三 维 视线 估计 方法 要 想 达 到 高 精确 性 及 稳定 性 首先 需要 解决 以 
下 几 个 问题 : 

1) 需要 佑 计 眼 睛 特征 点 的 空间 位 置 ; 

2) 需要 对 摄像 机 进行 标定 ; 


[R T]= 














87 





Cure Bae ALG FS E s 间 位 置 。 由 于 屏幕 和 光源 对 摄像 机 并 不 可 见 ， 如 何 佑 计 屏 


为 解决 上 述 问 是 我 们 提出 了 一 种 基于 平面 镜 的 系统 标定 方法 。 首 先 ， 对 双 摄 像 机 进行 
标定 ， 得 到 以 摄像 机 为 中 心 的 世界 坐标 系 ; 其 次 ， 利 用 平面 镜 对 摄像 机 不 可 见 的 屏幕 和 光源 
进行 标定 ， 得 到 像 空间 坐标 ; 再 通过 平面 镜 的 几何 特性 ， 求 出 屏幕 和 光源 的 真实 空间 坐标 ， 
最 后 利用 最 小 二 乘法 估计 屏幕 平面 。 综 上 ， 我 们 的 标定 方法 包括 以 下 两 步 : 双 摄 像 机 标定 和 
系统 标定 。 三 维 视线 佑 计 方 法 的 准确 性 主要 依赖 于 视线 估计 模型 和 各 特征 点 及 屏幕 的 三 维 坐 
标 。 为 解决 屏幕 及 光源 对 摄像 机 不 可 见 的 问题 ， 本 小 节 使 用 的 基于 平面 镜 的 系统 标定 方法 为 
视线 追踪 系统 计算 视线 方向 计算 提供 了 重要 的 支持 ， 且 其 具有 较 高 的 测量 精度 。 此 方法 可 操 
作 性 较 强 、 精 度 高 ， 不 仅 满 足 采用 三 维 视线 估计 方法 的 视线 追踪 系统 ， 也 可 推广 到 所 有 需要 
标定 摄像 机 视野 范围 外 物体 的 立体 视觉 系统 中 去 。 


5.4.1 双 摄 像 机 标定 


通过 5. 2 市 所 提出 的 标定 算法 分 别 计算 左右 摄像 机 的 参数 及 相互 间 的 关系 ,转换 到 以 左 
摄像 机 为 中 心 的 坐标 系 中 。 


5.4.2 ”系统 标定 


使 用 平面 镜 拍 摄 平面 模板 图 像 ， 求 镜子 平面 及 屏幕 和 光源 在 镜子 中 像 的 三 维 坐 标 ; 
通过 求 得 的 空间 点 估计 镜子 平面 及 像 平面 ; 根据 离 差 求 光源 的 像 关于 镜子 平面 的 对 
称 点 。 

以 图 5-1 所 示 的 系统 为 平台 ， 依 据 本 节 中 的 方法 进行 了 大 量 的 实验 。 

1. 双 摄 像 机 标定 

标定 所 用 图 像 共 20 幅 ， 在 摄像 机 前 多 角度 转动 拍摄 。 所 拍摄 的 标定 图 像 如 图 5-6 所 示 ， 
我 们 设 定 左 摄像 机 的 CCD 中 心 为 世界 坐标 系 中 心 ， 图 5-7 所 示 为 左右 摄像 机 及 所 有 标定 图 
像 在 世界 坐标 系 中 的 位 置 。 





























左 摄像 机 标定 图 片 











图 5-6 ”标定 图 像 








i 
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右 摄像 机 标定 图 片 


























Bs 





5-7 左右 





.系统 标定 


PRY 
Nn 
a 
zi 
a 
a 
3S 
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摄像 机 坐标 系 下 的 外 参数 


ie ne ee 屏幕 都 在 双 摄 像 机 可 视 





Bl PY o 








区 
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F 面 镜 拍 摄 的 双 摄 像 机 图 像 


a) 左 摄像 机 拍摄 图 像 b) 右 摄像 机 拍摄 图 像 
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通过 角 点 检测 得 到 图 像 中 标定 模板 的 图 像 坐 标 见 表 5-3。 
表 5-3 ”部 分 点 的 图 像 坐 标 





























图 5-8a 中 部 分 相 邻 图 5-8b 中 部 分 相 邻 
角 点 图 像 坐 标 和 点 图 像 坐 标 
(11.68, 108.25) (35.11, 83.42) 
m (53.15, 103.44) (79.20, 77.53) 
子 (96.03, 97.61) (122.70, 73.01) 
(138.90, 93.24) (165.48, 67.55) 
B (447.14, 17.26) (381.77, 27.05) 
A (478.09, 15.30) (413.02, 26. 12) 
9 (508.44, 13.25) (442.64, 25.08) 
(539.02, 12.16) (472.58, 24.13) 


首先 ， 通 过 摄像 机 标定 分 别 得 到 左右 摄像 机 的 焦距 f=16.46, f =16.31; 屏幕 标定 模 
板 相 邻 角 点 的 标 称 值 为 16mm， 镜 子 标定 模板 相 邻 角 点 的 标 称 值 为 11mm。 然 后 ,计算 出镜 
子 和 屏幕 的 像 各 点 的 三 维 坐标 ， 再 通过 拟 合 得 到 镜子 平面 ， 求 出 像 点 关于 镜子 平面 的 对 
称 点 。 

3. 误差 分 析 

我 们 使 用 了 一 种 较为 实际 的 误差 评估 方法 ,通过 测量 可 得 到 标定 模板 上 多 个 相 
邻 角 点 的 三 维 坐 标 ， 通 过 两 两 相 邻 的 角 点 坐标 可 得 到 棋盘 格 的 边 长 ， 即 d = 

(x 4)" + (yi 一) + (2, —2)) 其 与 实际 边 长 的 误差 可 衡量 标定 的 精度 。 表 5-4 给 出 了 
镜子 和 屏幕 部 分 相 邻 角 点 的 空间 距离 及 与 实际 边 长 的 相对 误差 。 图 5-9 显示 了 屏幕 模板 上 各 
角 点 的 空间 坐标 估计 误差 ， 由 表 5-4 和 图 5-9 可 以 看 出 ， 通 过 本 文 所 采用 的 方法 计算 得 到 的 
空间 坐标 误差 较 小 ， 能 够 满足 视线 追踪 系统 对 空间 三 维 坐 标 精度 的 要 求 。 

从 实验 结果 中 可 以 得 出 : 

1) 拍摄 更 清晰 的 图 片 有 利于 误差 的 减少 ; 

2) 从 表 5-4 中 可 以 看 出 ， 使 用 标定 模板 中 更 多 的 角 点 进行 计算 ， 可 以 减少 误差 ， 使 结 
果 更 精确 。 
































表 5-4 空间 距离 标定 结果 及 误差 


























序 号 部 分 相 邻 角 点 的 空间 距离 /mm 相对 误差 
1 11.37 0.03 
镜 2 11.09 0.01 
F P ; 
3 11.21 0. 02 
1 16. 17 0. 01 
屏 
幕 2 16. 50 0. 03 
3 16. 44 0. 03 
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屏幕 模板 各 角 点 空间 坐标 估计 误差 分 布 


空间 坐标 估计 误差 (mm) 








5-9 屏幕 模板 各 角 点 的 空间 坐标 估计 误差 








5.5 ”多 摄像 机 系统 标定 


在 使 用 双 目 以 上 摄像 机 的 计算 机 视觉 系统 中 ， 都 需要 进行 摄像 机 标定 ， 并 且 需 要 确 
定 系 统 中 各 摄像 机 的 关系 ， 将 其 变换 到 同一 坐标 系 内 。 一 般 的 摄像 机 标定 方法 ,需要 所 
有 的 摄像 机 视野 有 重合 的 部 分 ,一 些 算 法 还 要 求 摄像 机 必须 同步 。 但 是 在 一 些 场合 中 摄 
像 机 可 能 不 具有 重要 视野 ， 如 罕 视 野 摄像 机 、 分 布 式 多 摄像 机 系统 等 ， 在 这 些 系统 中 ， 
想 要 标定 物 在 全 部 摄像 机 的 视野 内 是 很 困难 的 。 在 这 种 情况 下 ， 前 两 节 中 所 提出 的 标定 
方法 无 法 使 用 。 

为 了 克服 这 些 局 限 ， 我们 采用 了 一 种 新 的 标定 方法 ,使 用 平面 镜 使 一 个 标定 模板 在 所 有 
的 摄像 机 视野 内 。 根 据 摄像 机 的 位 置 移动 镜子 ， 使 标定 模板 在 摄像 机 视野 内 。 在 标定 过 程 中 
标定 模板 保持 固定 不 动 ， 为 计算 摄像 机 的 镜像 姿态 提供 唯一 的 确定 参考 。 每 个 镜子 姿态 都 有 
四 个 自由 度 GD 法 向 量 和 镜子 到 摄像 机 的 距离 ) ， 并 把 这 些 作 为 标定 过 程 中 的 自由 参数 。 
镜子 姿态 用 来 校正 镜像 。 在 我 们 的 方法 中 ， 镜 子 姿态 不 作为 标定 的 必要 条 件 ， 取 而 代 之 的 是 
摄像 机 的 镜像 姿态 ， 当 摄像 机 通过 镜子 观测 标定 物 时 ， 摄 像 机 的 镜像 姿态 与 摄像 机 真实 姿态 
有 唯一 的 确定 关系 。 

当 借助 镜子 标定 时 ， 摄 像 机 的 内 参数 和 畸变 并 不 发 生变 化 。 在 这 里 ， 我 们 可 采用 第 三 音 
中 提出 的 标定 方法 作为 标定 的 第 一 步 ， 求 出 摄像 机 的 内 参数 、 畸 变 及 摄像 机 镜像 姿态 。 此 方 
法 与 大 多 数 标定 技术 的 不 同 处 在 于 ， 我 们 不 移动 摄像 机 和 标定 模板 ， 只 需 移动 镜子 来 固定 摄 
像 机 和 标定 模板 的 位 置 。 在 标定 方法 的 第 二 步 中 ,摄像机 内 参数 和 镜像 摄像 机 的 姿态 用 来 计 
算 摄 像 机 的 真实 位 置 。 

本 例 的 标定 方法 包括 以 下 两 步 : 标定 摄像 机 内 参数 和 镜像 图 像 外 参数 ， 并 计算 真实 摄像 
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机 位 置 。 采 用 这 种 标定 方法 ,标定 物 可 以 不 被 摄像 机 直接 看 到 ， 通 过 转动 一 平面 镜 ， 使 标定 
模板 在 摄像 机 视野 内 。 通 过 计算 得 到 摄像 机 镜像 的 内 参数 ， 即 真实 摄像 机 的 参数 。 与 上 一 闻 
提出 的 标定 方法 不 同 之 处 在 于 平面 镜 的 位 置 不 作为 标定 的 必要 条 件 ， 也 就 是 说 平面 镜 的 位 置 
并 不 作为 标定 过 程 中 的 参数 ， 取 而 代 之 的 是 镜像 摄像 机 的 位 置 ， 当 摄像 机 通过 镜子 观测 标定 
物 时 ， 摄 像 机 的 镜像 位 置 与 摄像 机 真实 位 置 有 唯一 的 确定 关系 。 通 过 求 摄像 机 镜像 的 位 置 及 
其 之 间 的 约束 关系 ， 可 以 得 到 摄像 机 真实 的 位 置 。 


5.5.1 标定 摄像 机 内 参数 和 镜像 图 像 外 参数 


固定 摄像 机 和 标定 模板 ， 只 移动 镜子 得 到 不 同方 位 的 标定 模板 图 像 。 通 过 5. 2 节 所 提出 
的 标定 算法 获得 摄像 机 内 参数 和 镜像 图 像 外 参数 。 


5.5.2 计算 真实 摄像 机 位 置 


通过 镜像 摄像 机 与 真实 摄像 机 之 间 的 约束 关系 ， 计 算 真 实 摄像 机 的 位 置 。 为 了 验证 算法 
的 效果 ， 我 们 进行 了 大 量 的 模拟 实验 。 在 试验 中 ， 设 定 了 三 个 摄像 机 ， 选 用 的 摄像 机 参数 
[fis fos S, uo, Vos ki, ka, pi, p] 3 [1000, 1000, 0, 320, 240, -0.2, 0.2, 
0.01, 0.01], [1000, 1000, 0, 320, 240, -0.1, 0.2, 0.01, 0], [1000, 1000, 1, 
320, 240, -0.2, 0.2, 0.01, 0.01], EUR HRY 640 x480。 为 了 验证 本 方法 对 噪声 的 
敏感 性 ， 对 各 点 加 入 噪声 [ Ax，Ay] ， 单 位 为 像素 ， 噪 声 水 平 为 (0 一 1.0) 。 按 照 前 面 的 摄 
像 机 标定 方法 和 本 章 中 的 方法 ， 在 每 个 噪声 等 级 下 进行 多 次 独立 实验 ， 并 采用 内 参数 估计 值 
与 真实 值 之 差 的 绝对 值 与 各 参数 之 间 的 相对 误差 来 度量 估计 结果 。 图 5-10 所 示 为 内 参数 标 
定 结果 ， 图 5-11 所 示 为 外 参数 标定 结果 。 
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图 5-10 ”摄像 机 内 参数 误差 分 析 ( 续 ) 


针对 情感 机 器 人 视觉 系统 中 ， 了 眼睛 ， 即 摄像 机 ， 不 能 满足 普通 标定 方法 的 要 求 ， 如 标定 
物 不 能 被 所 有 的 摄像 机 看 到 ， 我 们 提出 了 一 种 新 的 标定 方法 : 标定 物 可 以 不 被 摄像 机 直接 看 
到 ， 通 过 转动 一 平面 镜 ， 使 标定 模板 在 摄像 机 视野 内 。 通 过 计算 得 到 摄像 机 镜像 的 内 参数 ， 
即 真 实 摄像 机 的 参数 。 这 种 方法 的 特点 在 于 平面 镜 的 位 置 不 作为 标定 的 必要 条 件 ， 也 就 是 说 
平面 镜 的 位 置 并 不 作为 标定 过 程 中 的 参数 ， 取 而 代 之 的 是 镜像 摄像 机 的 位 置 ， 当 摄像 机 通过 
镜子 观测 标定 物 时 ， 摄 像 机 的 镜像 位 置 与 摄像 机 真实 位 置 有 唯一 的 确定 关系 。 通 过 求 摄像 机 
镜像 的 位 置 及 其 之 间 的 约束 关系 ， 可 以 得 到 摄像 机 真实 的 位 置 。 
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图 5-11 摄像 机 1 的 外 参数 误差 分 析 


E 考 起 


SUSAN 算法 的 原理 。 


5-2 摄像 机 标定 算法 的 求解 步 又 是 什么 ? 


5-3 在 双 








目 视 觉 系 统 中 ， 求 空间 坐标 的 方法 是 什么 ”并 对 其 进行 简要 叙述 。 








5-4. 简 述 多 摄像 机 系统 中 标定 的 方法 及 其 步骤。 


Zhai S. 
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第 6 曹 人 机 交互 与 合作 


前 面 介 绍 的 重点 是 情感 机 器 人 头 部 和 身 髓 的 机 械 结构 设计 ， 从 本 章 开 始 我 们 重点 介绍 软 
件 部 分 ， 了 解 如 何在 软件 中 设计 机 器 人 的 情感 表达 。 本 音 主 要 介绍 基于 网 络 的 数字 家 庭 环 境 
中 人 与 机 器 人 的 交互 与 合作 ， 采 用 “虚拟 管家 ”软件 人 的 形式 ， 利 用 语音 、 视 线 、 情 感 等 
交互 技术 ， 更 加 形象 、 生 动 地 反映 数字 家 庭 中 的 和 谐 人 机 交互 理念 。 虚 拟 管家 系统 形象 和 功 
能 操作 界面 平台 如 图 6-1 所 示 。 

本 章 主要 对 情感 机 器 人 的 基础 研究 进行 讲解 ， 主 要 内 容 分 以 下 三 部 分 ， 人 机 交互 概述 ， 
人 机 交互 的 相关 技术 ， 人 机 交互 系统 的 设计 与 评估 。 
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图 6-1 虚拟 管家 系统 的 形象 和 功能 操作 界面 平台 











6.1 人 机 交互 概述 


6.1.1 人 机 交互 的 概念 


言 息 技术 的 高 速 发 展 给 人 类 生产 、 生 活 带 来 了 广泛 而 深刻 的 影响 。 信 息 技术 、 数 字 技 术 
和 网 络 技术 一 体 化 的 信息 交流 方式 ,使 人 们 明显 感觉 到 快捷 与 自由 、 开 放 与 互动 ， 但 是 作为 
信息 技术 的 重要 内 容 ， 人 机 交互 技术 比 计 算 机 硬件 和 软件 技术 的 发 展 要 滞后 许多 ， 已 经 成 为 
人 类 运用 信息 技术 深入 探索 和 认识 客观 世界 的 瓶颈 。 人 机 交互 技术 的 发 展 水 平 直 接 影 响 着 计 
算 机 的 可 用 性 和 效率 。 因 此 ， 人 机 交互 技术 已 成 为 信息 领域 吸 需 解决 的 重大 课题 ， 引 起 多 国 
的 高 度 重 视 。 我 国 国家 自然 科学 基金 委员 会 、 国 家 重点 基础 研究 发 展 计划 (973), HKA 
技术 研究 发 展 计划 (863) 等 项 目 指南 中 ， 均 将 先进 的 人 机 交互 技术 以 及 虚拟 现实 技术 列 为 
特别 关注 的 资助 项 目 。 

人 机 交互 (Human-Computer Interaction, HCI) 是 关于 设计 、 评 价 和 实现 供 人 人 们 使 用 的 
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交互 式 计 算 机 系统 ， 且 围绕 这 些 方面 的 主要 现象 进行 研究 的 科学 。 广 义 地 讲 ， 人 机 交互 是 
人 -机 -环境 系统 工程 学 研究 的 一 个 重要 领域 ， 它 不 但 研究 在 设计 人 机 系统 时 如 何 考 虑 人 的 特 
性 和 能 力 ， 以 及 人 受 机 器 作业 和 环境 条 件 的 限制 ， 而 且 还 研究 人 的 训练 、 人 机 系统 设计 和 开 
发 ， 以 及 同人 机 系统 有 关 的 心理 学 、 生 物 学 或 医学 问题 。 狭 义 地 讲 ， 人 机 交互 技术 主要 是 研 
究 人 与 计算 机 之 间 的 信息 交换 ， 包 括 人 到 计算 机 和 计算 机 到 人 的 信息 交换 两 部 分 。 目 前 ， 本 
实验 室 主要 研究 这 种 意义 上 的 人 机 交互 。 对 于 前 者 ， 人 们 可 以 借助 键盘 、 鼠 标 、 操 纵 杆 、 数 
据 服 装 、 眼 动 跟踪 器 、 位 置 跟踪 器 、 数 据 手套 、 压 力 笔 等 设备 ， 用 手 、 脚 、 声 音 、 姿 势 或 身 
体 的 动作 、 视 线 甚至 脑 电波 等 向 计算 机 传递 信息 ; 对 于 后 者 ， 计 算 机 通过 打印 机 、 绘 图 仪 、 
显示 器 、 头 盔 式 显示 器 (Head Mount Display, HMD) 、 音 箱 等 输出 或 显示 设备 为 人 提供 


信息 。 
6. 1.2 人 机 交互 的 发 展 


人 机 交互 的 发 展 历史 ， 是 从 人 适应 计算 机 到 计算 机 不 断 地 适应 人 的 过 程 ， 它 经 历 了 早期 
手工 作业 阶段 、 作 业 控 制 语言 及 交互 命令 语言 阶段 、 图 形 用 户 界面 (Graphical User Inter- 
face, GUI) 交互 阶段 和 自然 和 谐 的 人 机 交互 阶段 ， 可 用 图 6-2 来 表示 : 

70 年 代 施乐 公司 在 Alto 上 







































































A 显示 90 年 代 以 来 ， 上 鼠标 成 为 
开发 位 映像 图 形 显示 技术 必 备 的 人 机 交 站 工具 
Sutherland —— Sketchpad 1984 年 人 芋 果 公司 Macintosh 
20 世 纪 40 年 代 个 人 计算 机 ， 引 入 
21 世 纪 
萌芽 期 准备 期 发 展期 
作 呈 控 制 语言 及 FEF m 
计算 机 发 展 早期 ” 1963 年 Engelbart 发 明 鼠 标 1922 年 ，VPL 公 司 推 出 Eyephone 液 晶 
1968 年 Sutherland 开 发 了 \、 显示 器 ，Defanti 等 推出 CAVE 系 多 
头 戴 式 立体 显示 器 显示 器 anti 等 推出 系统 
60 
PD 1982 年 美国 加 州 VPL 公 司 
一 一 第 一 幅 数 据 手套 


图 6-2 ”人 机 交互 发 展 时 间 轴 


20 世纪 40 年 代 前 ， 是 人 机 交互 技术 的 萌芽 期 ， 20 世纪 40 ~ 70 年 代 是 准备 期 ， 20 世纪 
80 年 代 进 入 发 展期 ， 进 入 21 世纪 后 ， 人 机 交互 技术 与 其 他 科学 不 断 融合 ， 酝 酿 着 技术 创 
新 ， 它 的 研究 和 应 用 已 全 面 渗入 到 航空 航天 、 通 信 、 计 算 机 科学 、 兵 器 、 航 海 、 交 通 、 电 
子 、 建 筑 、 能 源 、 煤 炭 、 冶 金 、 管 理 等 领域 。 随 着 它 的 不 断 发 展 和 完善 ， 必 将 在 新 一 轮 科 学 
技术 革命 中 发 挥 积极 的 作用 。 在 未 来 的 计算 机 系统 中 ,将 更 加 强调 “以 人 为 本 ”、“ 自然 和 
谐 ” 的 交互 方式 ， 以 此 为 宗旨 实现 人 机 高 效 合作 。 
6. 1.3 ”人 机 交互 的 研究 内 容 

人 机 交互 技术 是 研究 人 、 计 算 机 及 其 之 间 相 互 影 响 的 技术 ， 是 一 个 跨 学 科 的 领域 ,包括 
计算 机 科学 、 认 知心 理学 、 人 机 工程 学 等 。 


1. 人 机 交互 界面 表示 模型 与 设计 方法 (Model and Methodology) 
一 个 交互 界面 的 优 劣 ， 直 接 影 响 到 软件 开发 的 成 败 。 友 好 的 人 机 交互 界面 的 开发 离 不 开 
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交互 模型 与 设计 方法 。 因 此 ， 人 机 交互 界面 的 表示 模型 与 设计 方法 是 人 机 交互 的 重要 研究 内 
容 之 一 。 

2. 可 用 性 分 析 与 评估 (Usability Evaluation) 

可 用 性 是 人 机 交互 系统 的 重要 内 容 ， 它 关系 到 人 机 交互 能 否 达 到 用 户 期 待 的 目标 ， 以 及 
实现 这 一 目标 的 效率 与 便捷 程度 。 对 人 机 交互 系统 的 可 用 性 分 析 与 评估 研究 主要 涉及 支持 可 
用 性 的 设计 原则 和 评估 方 法 等 。 

3. 多 通道 交互 技术 ( Multi- Modal) 

在 多 通道 交互 中 ， 用 户 可 以 使 用 语音 、 手 势 、 了 眼神、 表情 等 自然 的 交互 方式 与 计算 机 系 
统 进行 通信 。 多 通道 交互 主要 研究 多 通道 交互 界面 的 表示 模型 、 多 通道 交互 界面 的 评估 方法 
以 及 多 通道 信息 的 融合 等 。 其 中 ， 多 通道 整合 是 多 通道 用 户 界面 研究 的 重点 和 难点 。 

4. 认 知 与 智能 用 户 界面 (Recognition and Intelligent User Interface) 
智能 用 户 界 面 (Intelligent User Interface, IUI) 的 最 终 目 标 是 使 人 机 交互 和 人 -人 交互 一 
样 自然 、 方 便 。 上 下 文 感知 、 眼 动 跟踪 、 手 势 识 别 、 三 维 输入 、 语 音 识别 、 表 情 识别 、 手 写 
识别 、 自 然 语言 理解 等 都 是 认 知 与 智能 用 户 界面 需要 解决 的 重要 问题 。 

5. 虚拟 环境 (Virtual Environment) 中 的 人 机 交互 

“以 人 为 本 ”、 自 然 和 谐 的 人 机 交互 理论 与 方法 是 虚拟 现实 的 主要 研究 内 容 之 一 。 通 过 
研究 与 视觉 、 听 觉 、 触 觉 等 多 通道 信息 相 融 合 的 理论 和 方法 、 并 协同 交互 技术 以 及 三 维 交互 
技术 等 ， 建 立 具有 高 度 真 实感 的 虚拟 环境 ,使 人 产生 “ 身 临 其 境 ” 的 感觉 。 

6. Web 设计 (Web- Interaction) 
重点 研究 Web 界面 的 信息 交互 模型 和 结构 、 基 本 思想 和 原则 、 工 具 和 技术 ， 及 其 可 用 
性 分 析 与 评估 方法 等 内 容 。 

7. 移动 界面 设计 (Mobile and Ubicomp) 

移动 计算 (Mobile Computing), Hiit (Ubiquitous Computing) 等 对 人 机 交互 技术 提 
出 了 更 高 的 要 求 ， 面 向 移动 应 用 的 界面 设计 已 成 为 人 机 交互 技术 的 一 个 重要 应 用 领域 。 由 于 
移动 设备 的 位 置 不 固定 性 、 计 算 能 力 有 限 ， 且 无 线 网 络 的 低 带 宽 高 延迟 等 诸多 限制 ， 移 动 界 
面 设 计 方法 、 移 动 界面 可 用 性 与 评估 原则 、 移 动 界面 导航 技术 以 及 移动 界面 的 实现 技术 和 开 
发 工具 ， 都 是 当前 的 人 机 交互 技术 的 研究 热点 。 

8. #44 (Groupware) 

群 件 是 指 为 群 组 协同 工作 提供 计算 机 支持 的 协作 环境 ， 主 要 涉及 个 人 或 群 组 间 的 信息 传 
递 、 群 组 内 的 信息 共享 、 业 务 过 程 自 动 化 与 协调 以 及 人 和 过 程 之 间 的 交互 活动 等 。 目 前 与 人 
机 交互 技术 相关 的 研究 内 容 主 要 包括 群 件 系 统 的 体系 结构 、 计 算 机 支持 的 交流 与 共享 信息 的 
方法 、 交 流 中 的 决策 支持 的 工具 、 应 用 程序 共享 以 及 同步 实现 方法 等 。 


6.2 人 机 交互 技术 


目前 ， 随 着 多 媒体 、 多 通道 和 虚拟 现实 技术 的 发 展 ， 人 机 交互 技术 正经 历 着 从 精确 交互 
向 非 精 确 交 互 、 从 单 通道 交互 向 多 通道 交互 、 从 二 维 交 互 向 三 维 交 互 的 转变 ， 这 对 传统 的 
WIMP 用 户 界面 设计 理论 提出 了 巨大 的 挑战 。 结 合 实验 室 目 前 的 课题 研究 ， 本 章 主 要 介绍 多 
通道 用 户 界面 中 的 语音 、 图 像 和 视线 交互 技术 。 
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人 机 自然 交互 的 核心 是 理解 交互 对 象 之 间 所 进行 交互 的 内 容 。 特 别 是 使 计算 机 理解 人 所 
发 出 的 指令 、 语 句 ， 进 行 识别 ， 以 便 执行 人 的 命令 , 或 理解 说 话 内容 ， 回 答 人 所 提出 的 


问题 。 
6.2.1 语音 交互 技术 
语音 交互 包括 语音 合成 和 语音 识别 两 部 分 。 


1. 语音 合成 

语音 合成 ， 又 称 文 语 转换 (Text to Speech) 技术 ， 它 涉及 声学 、 语 言 学 、 数 字 信号 处 
理 、 计 算 机 科学 等 多 个 学 科技 术 ， 是 中 文 信息 处 理 领 域 的 一 项 前 沿 技术 ， 主 要 解决 如 何 将 文 
字 信 息 转 化 为 声音 信息 ， 即 让 机 器 像 人 一 样 开口 说 话 。 这 在 情感 机 器 人 的 设计 中 是 必 不 可 少 
的 ， 只 有 让 情感 机 器 人 开口 说 话 ， 才 能 达到 人 与 机 器 人 的 语音 交互 ， 才 能 在 语言 、 语 调 中 体 
现 出 机 器 人 的 情感 状态 ， 才 能 追求 自然 和 谐 的 人 机 交互 。 下 面 介绍 一 下 如 何 实现 情感 机 器 人 
的 语音 合成 功能 。 
微软 的 Speech SDK 5.1 采用 了 COM 组 件 形式 实现 语音 合成 ， 比 较 简 单 易学 。 成 功 安装 
Microsoft Speech SDK 5. 1 后 ， 就 会 在 系统 的 控制 面板 - > 语音 - > 文字 语音 转换 下 拉 框 中 出 现 
语音 合成 引擎 ， 其 中 英文 的 语音 合成 有 Mike, Mary 和 Sam 三 个 角色 ， 而 对 于 中 文 的 语音 合 
成 微软 仅 提 供 了 simple Chinese 一 种 声音 。 

语音 合成 的 具体 程序 步 又 如 下 : 

1) 调用 API 函数 Colnitialize 初始 化 COM 组 件 ; 

2) 使 用 SpFindBestToken 函数 ， 传 和 人 参数， 设置 中 英文 语言 类 型 ; 

3) 调用 CoCreateInstance API 函数 创建 COM 语音 合成 接口 实例 IspVoice; 

4) 调用 IspVoice 接口 方法 SetVoice ， 加 载 前 面 所 设置 的 声音 类 型 ; 

5) 初始 化 工作 全 部 成 功 后 ， 则 可 以 在 程序 需要 的 地 方 调 用 IspVoice 接口 中 的 Speak 方 
法 ， 将 合成 的 语句 以 宽 字 符 的 形式 作为 参数 即 可 。 

在 合成 过 程 中 ， 可 以 使 用 SetVolume 、SetRate 等 方法 调节 语音 合成 的 音量 、 速 度 等 。 另 
外 ， 还 可 以 调用 IspVoice 接口 的 SetNotifyWindowMessage 方法 ， 设 定 在 语音 合成 过 程 中 某 一 
事件 发 生 时 合成 引擎 向 程序 窗口 发 送 的 消息 。 

2. 语音 识别 

语音 识别 是 通过 机 器 识别 和 理解 把 语音 信号 转变 为 相应 文本 文件 或 命令 的 技术 。 作 为 一 
个 专门 的 研究 领域 ,语音 识别 又 是 一 门 交 又 学 科 ， 它 与 声学 、 语 音 学 、 语 言 学 、 人 工 智 能 、 
数字 信号 处 理 理论 、 信 息 理论 、 模 式 识 别 理论 、 最 优化 理论 、 计 算 机 科学 等 众多 学 科 紧 密 相 
连 。 在 情感 机 器 人 的 设计 中 语音 识别 是 必 不 可 少 的 一 步 ， 语 音 识别 就 如 同 让 情感 机 器 人 拥有 
了 “ 耳 打 ”， 这 种 人 性 化 的 设计 是 完成 语音 交互 的 基础 。 

语音 识别 模块 利用 微软 的 Speech SDK 5. 1 提供 的 API 设计 开发 。Speech SDK 5. 1 提供 了 
两 套 API 函数 。 分 别 是 Application- Level Interfaces 和 Engine- Level Interfaces。 前 者 为 语音 识 
别 应 用 程序 为 开发 提供 了 各 种 接口 和 方法 。 后 者 提供 的 是 语音 识别 引擎 接口 和 方法 ， 主 要 是 
为 了 便于 用 户 进行 DDI 或 设备 驱动 程序 开发 。 本 应 用 实例 使 用 Application- Level Interfaces 提 
供 的 API 进行 程序 设计 与 开发 。 

相 比 较 于 语音 合成 而 言 ， 语 音 识别 的 实现 过 程 稍 显 复 杂 。 简 单 说 来 ， 在 经 历 了 一 系列 的 
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初始 化 之 后 ， 设 置 识别 引擎 返回 消息 ， 当 语音 识别 事件 发 生 后 ， 若 识别 成 功 ， 识 别 引擎 自动 
向 程序 窗口 发 送 识别 成 功 的 消息 ， 若 识别 失败 消息 ， 开 发 者 根据 自身 程序 的 情况 进行 相应 得 
处 理 。 具 体 过 程 如 图 6-3 所 示 。 

1) 初始 化 COM: 微软 Speech SDK 以 
COM 组 件 的 形式 提供 给 开发 人 员 ， 因 此 ， 
创建 识别 上 下 文 


在 调用 SAPI 之 前 需要 对 COM 进行 初始 化 。 
由 于 本 系统 是 MFC 基于 对 话 框 的 程序 ， 所 
引擎 返回 消息 


以 在 程序 实例 初始 化 InitInstance 函数 中 调 
是 否 有 语音 输入 ? 



















用 Colnitialize 初始 化 COM, 

2) 初始 化 识别 引擎 : 首先 调用 
SpFindBestToken 接口 在 系统 注册 表 中 查找 
合适 的 识别 引擎 。 此 接口 的 参数 决定 识别 
的 语言 类 别 特 性 一 一 409 表示 英文 ，804 表 
示 中 文 和 音频 输入 设备 ， 然 后 调用 CoCre- 
ateInstance 初始 化 ISpRecognizer 接口 实例 ， 
最 后 使 用 SetInput 和 SetRecognizer 接口 函数 
将 这 些 特性 设置 到 语音 识别 引擎 接口 
ISpRecognizer 中 。 

3) 创建 识别 上 下 文 : 识别 上 下 文 
(Reco Context) 就 是 语音 识别 的 相关 环境 。 
一 个 语音 识别 引擎 可 以 对 应 多 个 识别 上 下 
文 ， 每 个 Reco Context 规定 了 识别 的 语法 规 图 6-3 语音 识别 流程 图 
则 、 返 回 系统 窗口 的 消息 等 。 

4) 设置 识别 引擎 返回 消息 : 消息 就 是 当 识 别 引 擎 检测 到 某 种 情况 或 完成 某 项 任务 后 向 
主 程序 通知 的 事件 ， 由 此 程序 会 对 不 同 的 事件 作出 不 同 的 后 继 处 理 。SAPI 所 有 消息 都 定义 
为 枚 举 类 型 SPEVENTENUM， 其 中 比较 常用 的 为 SPEI_RECOGNITION (语音 已 被 成 功 识 
别 ) SPEI_FALSE_RECOGNITION (语音 识别 不 成 功 ) 、SPEI_SOUND_START (声卡 检测 到 
有 声音 输入 ) 、SPEI_SOUND_END (声卡 检测 到 声音 输入 停止 ) 等 。 应 用 程序 先 调用 API K 
数 SetNotifyWindowMessage 将 自身 的 主 和 窗口 句柄 和 消息 类 型 通过 参数 传人 。 此 时 的 消息 是 自 
定义 的 类 型 ， 程序 需要 调用 接口 ISpRecoContext 的 方法 SetInterest 指明 程序 关心 的 消息 ， 这 
里 可 以 是 单个 消息 也 可 是 一 系列 消息 的 组 合 。 当 语音 识别 引擎 检测 到 相关 的 事件 后 自动 向 程 
序 发 送 上 述 设 定好 的 消息 ， 程 序 根据 参数 判断 具体 消息 的 类 型 ， 再 做 相应 的 处 理 。 

5) 加 载 识别 语法 : 所 谓语 法 规则 就 是 事先 设 定好 的 语音 识别 的 内 容 。 语 法 规则 用 XML 
语言 形式 存储 到 文件 中 ， 然 后 通过 Speech SDK 带 有 的 编译 器 编译 成 . efg 文件， 在 程序 运行 
时 动态 加 入 。 先 使 用 方法 函数 CreateGrammar 创建 语法 接口 ， 然 后 调用 LoadCmdFromFile Jy 
法 从 外 部 文件 将 语法 规则 加 载 进来 。 

6) 处 理 消 息 : 本 系统 所 关心 的 语音 识别 消息 是 SPEI_RECOGNITION 与 SPEI_FALSE_ 
RECOGNITION ， 自 定义 的 消息 类 型 是 WM_RECOEVENTCH。 在 自 定义 消息 的 响应 函数 中 ， 
首先 调用 SetRecoState， 在 处 理 语音 识别 结果 时 将 识别 引擎 关闭 ， 不 接受 新 的 语音 输入 ; 然 
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后 通过 CSpEvent 与 当前 的 识别 上 下 文 关联 ; 随后 通过 判断 event ID 来 确定 消息 的 类 型 ， 做 
相应 的 处 理 ; 最 后 再 次 调用 SetRecoState ， 将 识别 引擎 恢复 正常 ， 继 续 接受 语音 输入 。 

在 整个 语音 识别 程序 中 ， 识 别 语法 和 识别 状态 都 可 以 动态 的 改变 。 只 要 将 语法 规则 预先 
存储 到 不 同 的 文件 中 ， 就 可 以 因 情 况 不 同 而 更 换 。 在 改变 识别 引擎 设置 的 时 候 ， 需 要 先 将 识 
别 状态 置 为 关闭 状态 。 此 外 ， 可 以 看 出 windows 的 消息 机 制 在 整个 识别 处 理 中 起 到 重要 的 作 
用 ， 所 有 识别 功能 的 实现 ， 必 须要 在 消息 到 来 之 后 再 去 执行 。 所 以 自 定 义 消息 ， 手 动 添加 消 
息 啊 应 函数 ， 也 是 不 可 或 缺 的 一 个 环节 。 

图 6-4 所 示 为 简单 的 应 用 截图 ， 其 中 采用 了 Microsoft Agent 这 个 形象 载体 ， 语 法 规则 采 
用 的 是 动态 数据 库 加 载 方式 ， 这 样 能 够 适时 地 修改 、 添 加 和 删除 语音 识别 交互 内 容 。 通 过 实 
验 ， 在 安静 的 环境 中 经 过 训练 后 ， 可 以 满足 用 户 的 对 话 交 互 。 
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6-4 语音 交互 实例 


6.2.2 说 话 人 识别 


人 与 情感 机 器 人 的 自然 交互 正如 人 与 人 交互 一 样 ， 首 先 要 知道 在 与 谁 交 互 ， 即 ,识别 交 
互 的 对 象 或 称 为 说 话 人 识别 (speaker recognition) 。 说 话 人 识别 是 一 种 特殊 的 语音 识别 ， 它 
有 2 个 功能 : 一 是 说 话 人 辨别 (speaker identification); 二 是 说 话 人 验证 (speaker verifica- 
tion) 。 前 者 是 判断 正在 说 话 的 是 谁 ， 识 别 交 互 对 象 ; 后 者 是 验证 所 获取 的 语言 或 人 脸 信 和 号 
到 底 是 属于 哪个 人 的 ， 常 用 语 情报 侦察 和 安全 防范 。 说 话 人 识别 通常 是 通过 计算 机 的 听觉 或 
视觉 功能 来 完成 的 ， 音 频 信和 号 反映 了 说 话 人 的 语音 语言 特征 ， 视 频 信和 号 反映 了 人 脸 特 征 。 二 
者 共同 应 用 时 ， 由 于 宛 余 信 息 的 存在 ， 可 以 达到 更 可 靠 的 识别 效果 。 

1. 听觉 一 一 说 话 人 识别 

说 话 人 识别 是 在 人 机 自然 交互 过 程 中 识别 对 话 对 象 ， 是 语音 识别 研究 的 一 个 重要 分 文 ， 
从 一 开始 就 与 语音 识别 研究 共同 发 展 。 说 话 人 识别 的 主要 技术 大 多 来 自 语 音 识别 的 最 新 研究 
成 果 ， 对 此 具有 较 长 研究 历史 和 学 术 影 响 的 机 构 包 括 : 美国 电报 电话 公司 (AT&T) 及 其 分 
LHL, BBN Tech， 瑞 士 感觉 人 工 智 能 Dalle Molle 研究 所 (IDIAP), ITT, MIT 林肯 实验 
室 ， 中 国 台湾 国立 清华 大 学 ， 名 古 屋 大 学 ， 日 本 电报 电话 公司 ，RPI，Rutgers 大 学 ，TI 等 。 

(1) 说 话 人 识别 的 分 类 

说 话 人 识别 可 以 分 为 2 个 范畴 ， 即 说 话 人 辨认 (Speaker Identification) 和 说 话 人 确认 
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(Speaker Verification) 。 前 者 是 把 未 标记 的 语句 判定 为 属于 N 个 参考 说 话 人 中 的 某 一 个 ， 是 
一 个 多 选 一 的 问题 ; 后 者 则 是 根据 说 话 人 的 语句 确定 是 否 与 某 个 参考 说 话 人 相符 ， 这 种 确认 
只 有 2 种 可 能 ， 既 肯定 或 否定 。 

说 话 人 识别 可 以 分 为 与 文本 相关 的 (Text- dependent) 和 与 文本 无 关 的 (Text- independ- 
ent) 。 与 文本 相关 的 是 指 说 话 人 按 规定 文本 发 音 ， 或 者 根据 提示 发 音 ， 这 会 使 问题 大 为 简 
化 ; 而 与 文本 无 关 的 说 话 人 识别 在 实际 应 用 中 具有 更 大 的 价值 ， 尤 其 是 在 电话 监听 等 应 用 场 
合 ， 系 统 无 法 预知 说 话 人 将 要 说 什么 内 容 。 

(2) 说 话 人 识别 的 方法 

1) 基于 统计 模型 的 算法 。 利 用 语音 识别 的 HMM 技术 也 可 以 实现 说 话 人 识别 。 用 HMM 
算法 实现 文本 相关 的 说 话 人 识别 系统 更 为 方便 。 此 时 采用 的 方法 基本 上 与 语音 识别 的 方法 相 
同 ， 首 先 采 集 不 同 说 话 人 的 多 次 发 音 ， 经 过 训练 得 到 HMM 模型 参数 ， 根 据 匹 配 分 数 的 不 同 
来 区 分 说 话 人 。 

2) 基于 模板 匹配 的 算法 。 模 板 匹 配 算法 的 要 点 是 ， 在 训练 过 程 中 ， 从 每 个 说 话 人 的 训 
练 语句 中 提取 相应 的 特征 向 量 ， 它 们 能 够 充分 描述 各 说 话 人 的 特征 。 这 些 特征 向 量 称 为 各 说 
话 人 的 模板 ， 可 以 从 单词 、 数 字 串 或 句子 中 提取 。 在 测试 阶段 ， 从 说 话 人 发 出 的 语音 信号 中 
按照 同样 的 处 理 方 法 提取 测试 模板 ， 并 且 与 相应 的 参考 模板 进行 比较 。 由 于 说 话 人 的 每 次 发 
音 都 是 变化 的 ， 测 试 模板 和 参考 模板 在 时 间 尺 度 上 不 可 能 完全 一 致 。 为 使 二 者 在 时 间 等 效 点 
上 加 以 比较 ， 最 常用 的 办 法 就 是 采用 DTW 算法 。 在 DTW 的 过 程 中 同时 计算 所 有 参考 模板 
对 测试 模板 的 距离 测度 并 且 形 成 判决 函数 。 

说 话 人 识别 系统 中 对 于 语音 的 内 容 实际 上 是 不 感 兴趣 的 ， 而 且 语 音 的 内 容 原则 上 都 是 相 
同 的 ， 其 任务 是 区 分 不 同 说 话 人 的 发 音 。 而 语音 识别 中 则 是 找到 说 话 人 说 话 的 内 容 。 

(3) 应 用 实例 

本 实例 是 基于 模板 匹配 算法 实现 的 ， 可 分 为 训练 与 识别 两 部 分 ， 系 统 框图 如 图 6-5 
所 示 。 
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识别 





图 6-5 基于 模板 匹配 算法 的 系统 框图 








在 训练 过 程 中 ， 语 音信 和 号 需 先 经 过 预 处 理 ， 然 后 进行 特征 提取 ， 并 将 提取 的 参数 生成 码 
本 进行 存储 ; 在 识别 过 程 中 ， 只 需 将 目前 的 特征 参数 与 存储 在 码 本 中 的 参数 进行 比较 就 能 得 
到 识别 结果 。 这 样 情感 机 颖 人 就 可 以 识别 出 当前 用 户 的 身份 。 

1) 训练 。 

D 预 处 理 : 包含 分 帧 和 端点 检测 两 个 部 分 。 由 于 语音 信号 只 在 短 时 间 内 具有 平稳 性 ， 
因此 要 将 信号 作 分 帧 处 理 ; 分 帧 后 ， 语 音信 和 号 被 分 割 成 一 帧 一 帧 的 短 时 信号 。 本 实例 使 用 交 
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BAW ITI, BST A EARRA, 这样 可 以 使 帧 与 帧 之 间 平 滑 过 渡 ， 保持 其 
连续 性 。 端 点 检测 是 为 了 减少 噪声 ， 也 即 无 声 段 的 影响 ; 短 时 能 量 可 以 区 分 浊音 和 噪音 ， 短 
时 过 零 率 可 以 区 分 清音 和 噪音 。 因 此 ， 使 用 二 者 的 乘积 一 一 能 频 值 ， 实 现 语音 端点 检测 ， 可 
以 去 除 无 声 段 。 

ToWork ( ) 一 一 启动 控制 函数 : 函数 中 调用 以 下 几 个 函数 对 音频 文件 进行 预 处 理 ， 以 便 
后 面 特 征 提取 之 用 ; 

Load_Wave_File ( ) 一 一 加 载 音频 文件 : 通过 调用 录音 函数 ， 将 录 好 的 音频 文件 加 载 入 
缓存 ; 

Pretreatment ( ) 一 一 语音 信号 预 处 理 : 首先 ， 对 语音 信和 号 进行 预 加 重 ， 即 在 计算 短 时 能 
量 前 ， 对 语音 信号 进行 高 频 提 升 处 理 ， 滤 除 低频 干扰 ; 然后 ， 对 语音 信号 进行 分 帧 处 理 ， 语 
音信 号 是 一 种 准 平稳 信号 。 但 是 ， 由 于 语音 的 形成 过 程 与 发 声 器 官 的 运动 密切 相关 ， 这 种 物 
理 运动 比 起 声波 振动 速度 来 讲 要 缓慢 得 多 ， 因 此 可 以 假定 语音 信号 为 短 时 平稳 的 ， 即 可 以 假 
定 在 10 ~30ms 的 时 间 段 内 ， 其 频谱 特性 和 某 些 物理 特征 参量 可 近似 看 作 不 变 。 任 何 语音 信 
号 数字 处 理 算法 和 技术 都 建立 在 这 种 “ 短 时 平稳 ”特性 的 基础 之 上 。 因 此 ,一 般 在 分 帧 时 ， 
帧 长 选取 在 10 ~30ms 之 间 。 分 帧 可 以 是 连续 的 ， 也 可 以 是 交 著 的 。 因 为 交合 分 帧 可 以 平滑 
信和 号， 减少 信号 两 端 处 的 预测 误差 ， 避 免 频 谱 出 现 “破碎 ”现象 ， 所 以 本 系统 中 ， 绿 合 考 
虑 到 语音 信号 的 短 时 平稳 性 以 及 之 后 基 音 检测 的 准确 性 ， 最 终 选取 帧 长 为 30ms (在 系统 采 
样 率 为 8KHz 的 前 提 下 ， 相 应 于 每 帧 有 240 个 信号 样 值 ) ， 帧 移 15ms。 

接着 计算 每 帧 能 频 值 ， 调 用 的 函数 及 功能 是 

littleEnergy ( ) 一 一 计算 短 时 能 量 : 语音 信号 一 般 可 分 为 无 声 段 、 清 音 段 和 浊音 段 。 无 
声 段 是 背景 噪声 段 ， 平 均 能 量 最 低 。 浊 音 段 为 声带 振动 发 出 响应 的 语音 信号 段 ， 平 均 能 量 最 
高 。 清 音 段 为 空气 在 口腔 中 的 摩擦 、 冲 击 或 爆破 而 发 出 的 语音 信号 段 ， 平均 能 量 居于 两 者 之 
间 。 基 于 能 量 的 算法 适用 于 浊音 检测 ， 但 不 适合 检测 清音 ， 这 也 为 一 下 检测 语音 起 点 与 终点 
打下 基础 。 

littleZero 〈 ) 一 一 计算 短 时 过 零 率 : 即 一 定时 间 内 信号 穿越 零 电 平 的 次 数 ， 适 合用 来 检 
测 清音 。 

findBeginning ( ) 一 一 检测 语音 起 点 。 

findEnd ( ) 一 一 检测 语音 终点 。 

引入 能 频 值 (Energy Frequency Value, EFV) 的 概念 : 能 频 值 等 于 短 时 能 量 乘 上 短 时 过 
零 率 。 能 频 值 既 顾 及 到 清音 的 高 过 零 率 又 顾及 到 浊音 的 高 能 量 ， 从 而 提高 了 语音 信号 与 背景 
噪声 的 分 辨 能力 。 同 时 ， 考 虑 到 实际 应 用 中 周围 环境 的 变换 以 及 讲话 者 的 语音 强 弱 等 影响 都 
会 造成 浆 值 的 选取 无 法 普遍 适用 ， 为 此 ， 进 一 步 引 入 相对 净值 的 概念 ， 它 区 别 于 传统 意义 上 
的 门限 阔 值 ， 而 是 度量 两 个 时 刻 的 语音 采样 的 比值 关系 ， 具 体 来 说 是 当前 采样 点 与 分 析 顺 序 
上 第 一 个 极 大 值 点 的 比值 。 该 相对 阔 值 即 能 反映 出 当前 采样 点 能 频 值 的 大 小 ， 又 能 通过 类 似 
归 一 化 的 方法 屏蔽 掉 环 境 影 响 ， 因 此 具有 较 好 的 效果 。 系 统 端点 检测 流程 如 图 6-6 所 示 。 

D 特征 提取 : 

FeatureExtractor ( ) 一 一 特征 提取 ， 即 对 基 音 特征 进行 分 析 与 提取 。 在 语音 产生 的 数字 
模型 中 ， 基 音 周期 是 激励 源 的 一 个 重要 参数 。 基 音 是 指 发 浊音 时 声带 振动 的 周期 性 ， 这 种 周 
期 称 作 基 音 周期 ， 它 的 倒数 称 作 基 音频 率 。 基 音 周期 只 具有 准 周 期 性 ， 所 以 只 能 采用 短 时 平 
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计算 每 帧 短 时 能 量 构成 的 序列 
e(0), e(l) ---, e(n) 


计算 每 帧 短 时 过 零 率 构成 的 序 


AFO FU)» + FM) 





计算 每 帧 能 频 值 构成 的 序列 ef 
O ef (1), ，e1 (n) 


=O, jo 
































r=ef (tj ef (Ù>R? 


当前 1 即 为 语 
音 起 始点 


图 6-6 系统 端点 检测 流程 图 
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均 方法 估计 该 周期 ， 这 个 过 程 也 常 称 为 基 音 检测 ， 分 别 调用 以 下 四 个 函数 进行 处 理 : 

getACF () 一 一 求解 自 相关 函数 : 因为 清音 不 具有 准 周期 性 ， 所 以 基 音 检测 只 能 针对 浊 
音信 号 。 浊 音信 号 的 自 相 关 函 数 会 在 基 音 周期 的 整数 倍 位 置 上 出 现 峰 值 ， 因 此 检测 自 相 关 画 
数 是 否 有 峰值 可 以 判断 是 清音 还 是 浊音 ， 而 峰 峰 之 间 对 应 的 就 是 基 音 周期 ; 

pitchDetection ( ) 一 一 基因 检测 : 考虑 到 人 的 基 音 频率 都 在 60 ~ 450Hz， 且 语音 信号 采 
样 率 为 8kHz， 因 此 ， 可 去 除 每 帧 信号 的 前 16 个 点 ， 这 样 既 可 以 减少 计算 量 ， 又 可 以 提高 算 
法 的 精度 。 对 每 一 帧 进行 基 音 频率 估计 的 步骤 如 下 .: 

首先 对 一 帧 语音 信号 | 5,(m)| 进行 滤波 去 除开 头 的 16 个 输出 值 ， 得 到 |5S'(m)|; 然 
后 分 别 求 {S (m)} 前 100 个 采样 点 和 后 100 个 采样 点 的 最 大 幅度 ， 并 取 其 中 较 小 的 一 个 ， 
乘 以 因子 0. 68 作为 门限 电 平 L; 接着 对 {5'(m)| 进行 中 心 前 波 得 到 1y(m)} 再 计算 
{fy(m)|} 的 自 相关 值 R(k)， 其 中 =1 ~124 (去 点 前 的 第 16 ~ 140 个 点 ) 时 对 应 基 音 频率 范 
围 57 ~ 500Hz, R(0) 对 应 于 短 时 能 量 ; 最 后 得 到 自 相 关 值 后 ， 可 以 得 到 RG), =, 
R(124) 中 的 最 大 值 Ro, WR Ra <0.25R(0)， 则 认为 本 帧 为 清音 , 令 其 基 音 周期 为 0; 否 
则 基 音 周期 即 为 R(k) 取 最 大 值 R,, 时 位 置 的 值 ， 基 音频 率 即 为 基 音 周期 的 倒数 。 

getFrameLPC ( ) 一 一 输入 帧 数据 的 线性 预测 系数 : 线性 预测 系数 是 能 够 有 效 表 征 语音 全 
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极点 模型 的 参数 ， 线 性 预测 分 析 的 思想 基于 语音 信号 样 点 间 存 在 相关 性 ， 每 个 语音 的 抽样 都 
能 够 用 过 去 若干 个 语音 抽样 或 者 它们 的 线性 组 合 来 逼 近 ; 

getFrameLPCC ( ) 一 一 由 LPC 得 到 LPC 倒 谱 : 一 般 采 用 倒 谱 系数 作为 系统 的 特征 参数 。 
它 的 主要 优点 是 可 以 较为 彻底 地 去 掉 语 音 产生 过 程 中 的 激励 信息 ， 反 映 出 声 道 响应 ， 因 此 往 
往 只 需 十 几 个 倒 谱 系数 就 能 较 好 地 描述 语音 信号 的 共振 峰 特 性 。 倒 谱 的 求解 过 程 实 质 上 是 一 
个 同 态 处 理 过程 ， 具 体 实现 是 调用 ACFToLPCCoef ( ) 一 一 由 自 相关 函数 求解 线性 预测 系数 
函数 ， 并 采用 lpcDurbin ( ) 一 一 杜 宾 递 推 方法 得 到 线性 预测 系数 。 

O 生成 码 本 并 预存 : 预存 就 是 把 每 一 个 待 识别 的 说 话 人 语音 看 作 一 个 信号 源 ， 用 一 个 
码 书 来 表征 ， 码 书 通过 从 该 说 话 人 的 训练 语音 序列 中 提取 特征 矢量 聚 类 而 成 。 通 过 特征 提取 
出 来 的 特征 矢量 首先 要 进行 量化 ， 即 将 硅 干 个 幅度 连续 取 值 的 时 域 采样 信号 分 成 一 组 ， 构 成 
矢量 ,然后 用 若干 个 离散 的 数字 值 (或 称 为 标号 ) 来 表示 各 种 矢量 。 具 体 过 程 : 由 语音 信 
号 波形 终 上 个 样 点 的 每 一 帧 ,或 上 个 参数 的 每 一 参数 帧 ， 构 成 维 空间 的 一 个 矢量， 然后 对 
这 个 矢量 进行 量化 。 也 就 是 将 维 无 限 空间 划分 为 MM 个 区 域 边界 ， 然 后 将 输入 矢量 与 这 些 
边界 进行 比较 ， 并 被 量化 为 “距离 ”最 小 的 区 域 边界 中 心 撩 量 值 ， 最 后 将 这 个 中 心 矢量 利 
用 SaveCodeBook () 函数 值 保存 在 一 个 码 本 中 。 

2) 识别 。 

识别 的 过 程 在 预 处 理 和 特征 提取 的 基础 上 ， 与 训练 过 程 相 同 ， 采 用 的 也 是 首先 对 预测 音 
频 文件 进行 预 处 理 ， 然 后 提取 特征 参数 生成 码 本 ， 接 着 依次 与 码 本 库 中 的 码 本 进行 误差 均值 
计算 ， 最 后 选择 匹配 误差 平均 值 最 小 的 码 本 ， 输 出 识别 结果 。 判 决 中 主要 用 的 函数 为 : Dis- 
tanceMeasure ( ) 一 一 对 两 个 同 维 矢量 求 取 欧 氏 失真 度 ， 并 选择 失真 度 最 小 的 作为 识别 结 

3) 实验 结果 。 

训练 时 的 语音 输入 是 :“ 我 是 北京 科技 大 学 信息 工程 学 院 的 研究 生 ”; 识别 时 输入 的 语 
音 是 “今天 是 2010 年 3 月 15 日 星期 一 ， 现 在 是 晚上 十 点 ”。 图 6- 7a 编辑 框 表示 的 是 训练 时 
语音 预 处 理 和 特征 提取 的 情况 ， 可 以 看 出 如 表 6-1 所 示 信 息 : 



























































the channels is 1 | [filename is codebook? ! 
the sample_rate is 11025 
the avg_bytes_sec is 11025 audioF rameNum=17 
ithe block_align is 1 filename is codebook3 ! 
the bits_per_sample is 8 codebook3 
the cbsize is 0 audioF rameNum=1 
the id[] is data filename is codebookd ! 
the sample_length is 98304 codebookd 
dataByteLength = 98: | |audioFrameNum=171 
dataFrameNum=819 | javerageDist ance [0]=54889. 067374 
palea eee averageDist ance [1]=26917. 193249 
; ~ averageDist ance [2]=54889. 067374 
neo i her averageDistance[3]=54889. 067374 i 
ect iveFraneNua= averageDist ance [4]=54389. 067374 
franeNun=671 MEANA: 
PitchFrequence= 300. 163934 1 你 好 。 
a) b) 


图 6-7 实验 结果 显示 
a) 训练 结果 b) 识别 结果 图 


表 6-1 训练 实例 参数 


分 帧 数 819 起 始 帧 141 














有 效 帧 数 671 结束 帧 811 
基因 频率 均值 300. 163934 
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图 6-7b 编辑 框 表示 的 是 识别 结果 。 模 板 库 中 暂时 存 有 5 个 模板 。 在 本 人 的 测试 语音 输 
入 后 ， 系 统 生成 的 组 合 特 征 参 数 与 所 有 模板 进行 聚 类 ， 发 现 与 1 号 模板 的 距离 最 短 为 
26917. 193249 ， 与 其 他 模板 的 距离 都 远 远 大 于 这 个 值 。 由 于 本 实验 在 训练 时 输入 的 代号 是 
1， 最 后 识别 的 结果 也 是 与 1 号 匹配 ， 即 证 明 此 功能 基本 实现 。 

2. 视觉 一 一 说 话 人 识别 

在 人 与 人 的 交互 过 程 中 信息 大 部 分 来 源 于 视觉 ， 因 为 人 的 脸 部 图 像 或 者 说 人 脸 特征 存在 
极其 复杂 的 差异 性 ， 正 如 每 片 树叶 都 不 同一 样 ， 人 脸 也 各 不 相同 。 当 人 与 情感 机 器 人 交互 
时 ， 同 样 需要 让 情感 机 器 人 观察 到 人 的 面部 表情 ， 与 此 同时 人 也 需要 观察 到 机 器 人 的 面部 表 
情 。 第 五 章 的 机 器 视觉 部 分 详细 介绍 了 如 何 让 情感 机 器 人 观察 、 识 别 、 跟 踪 人 的 面部 表情 。 
既然 视觉 通道 蕴含 巨大 的 信息 量 和 极 快 的 传递 与 处 理 速度 ， 那 么 如 何 来 描述 一 个 人 的 模样 
呢 ? 如 果 我 们 用 程序 语言 来 描述 一 个 人 的 模样 ， 花 很 长 时 间 也 未 必 能 说 得 清楚 ， 所 以 情感 机 
器 人 就 不 能 对 人 进行 识别 ， 而 对 视觉 来 说 看 一 眼 就 一 目 了 然 了 。 我 们 就 采用 以 下 流程 对 说 话 
人 进行 识别 。 

(1) 人 脸 识别 流程 

说 话 人 识别 的 结构 如 图 6-8 所 示 。 首 先 对 输入 的 人 脸 图 像 或 图 像 序 列 进行 人 脸 检 测 和 定 
位 ， 即 从 输入 人 脸 图 像 中 找到 人 脸 ， 确 定 人 脸 位 置 ， 并 将 人 脸 从 背景 中 分 割 出 来 ， 接 着 对 分 
割 出 来 的 人 脸 图 像 进行 标准 化 。 这 里 ， 人 脸 检测 与 定位 和 标准 化 所 做 的 都 是 人 脸 图 像 的 预 处 
理工 作 。 然 后 对 标准 化 的 人 脸 图 像 进行 特征 提取 ， 最 后 完成 说 话 人 识别 ， 得 到 识别 结果 。 


人 脸 图 像 或 
图 像 序列 







































图 6-8 人 脸 识别 的 流程 示意 图 


(2) 人 脸 图 像 的 预 处 理 

人 脸 图 像 的 预 处 理 主要 是 人 脸 图 像 的 检测 与 定位 和 图 像 标 准 化 问题 。 无 限定 条 件 被 摄 对 
象 的 检测 与 定位 具有 广泛 的 实用 价值 和 理论 研究 价值 ， 也 是 说 话 人 识别 中 必须 首先 解决 的 问 
题 。 说 话 人 识别 中 人 脸 图 像 对 光照 环境 的 变化 非常 敏感 ， 随 着 化 妆 、 眼 镜 、 胡 须 及 发 型 的 变 








所 谓 人 脸 检 测 就 是 要 找 出 人 脸 可 能 存在 的 区 域 ， 通 过 人 脸 所 有 可 能 存在 的 区 域 与 人 脸 模 
型 的 匹配 度 来 确定 ， 这 个 过 程 也 是 对 人 脸 的 建 模 过 程 。 人 脸 检 测 是 基于 知识 与 统计 的 ， 其 方 
法 基本 上 可 分 为 两 大 类 ， 即 基于 知识 的 方法 和 基于 统计 的 方法 。 

基于 知识 的 方法 是 依据 人 脸 的 知识 规定 若干 准则 ， 使 人 脸 检测 问题 转化 为 假设 检验 问 
题 ， 这 种 人 脸 检测 准则 来 源 对 人 脸 的 直接 观察 ， 有 人 脸 器 官 分 布 准则 、 人 脸 轮廓 准则 、 人 脸 
颜色 纹理 准则 、 相 对 青 景 运动 准则 。 

基于 统计 的 方法 是 将 人 脸 图 像 视 为 一 个 高 维 向量 ， 将 人 脸 检 测 问题 转化 为 高 维 空间 中 分 
布 信号 检测 问题 ， 它 不 像 基于 知识 的 方法 那么 直观 。 常 用 的 基于 统计 的 人 脸 检测 方法 有 3 
种 ， 即 事例 学 习 法 、 子 空间 法 和 空间 匹配 滤波 器 法 。 

我 们 将 人 脸 检 测 与 定位 算法 归 为 以 下 4 类 : 

1) 拓扑 法 ， 即 通过 先 定位 眼睛 再 根据 人 脸 的 生理 比例 确定 人 脸 的 方法 。 因 为 直接 利用 
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灰 度 信息 ， 对 光照 条 件 敏感 ， 所 以 这 类 方法 要 求 图 片 的 眼 部 有 较 高 的 质量 ， 并 能 确保 其 具有 
一 定 的 尺寸 。 

2) 特征 脸 检 测 ， 即 利用 主 元 分 析 法 训练 和 检测 人 脸 。 这 类 方法 定位 准确 ， 但 算法 复 
RR, 计算 量 大 ， 实 时 性 差 。 

3) 采用 神经 网 络 的 方法 ， 此 方法 不 适用 于 人 脸 跟 踪 。 

4) 借用 肤色 来 确定 人 脸 的 位 置 ， 此 方法 实时 性 较 好 。 同 种 族人 的 面部 肤色 在 颜色 空间 
中 的 分 布 相对 比较 集中 ， 颜 色 信 息 在 一 定 程度 上 可 以 将 人 脸 与 大 部 分 背景 区 分 开 。 

人 脸 图 像 标准 化 的 目的 是 将 背景 、 头 发 、 服 装 等 对 人 脸 识别 无 用 或 造成 干扰 的 元 余 信 息 
或 干扰 信息 去 除 ， 使 人 脸 图 像 经 过 标准 化 算法 滞后 ， 这 样 不 仅 可 以 保留 人 脸 的 主要 信息 ， 还 
有 利于 后 续 的 特征 提取 与 人 脸 识别 。 进 行人 脸 图 像 标准 化 时 ， 首 先 需 要 标定 人 脸 的 左右 边界 
以 及 眼 、 嘴 的 位 置 ， 然 后 根据 这 些 标定 参量 对 图 像 进行 裁剪 。 其 次 应 确定 一 个 图 像 缩 放 系 数 
对 图 像 进行 缩放 ， 系 数 的 选 定 有 不 同 的 方法 ,传统 的 方法 是 先 确 定 人 眼 的 2 个 瞳孔 位 置 ， 并 
将 2 个 瞳孔 之 间 的 距离 作为 比例 系数 进行 图 像 的 缩放 。 

(3) 人 脸 图 像 的 特征 提取 与 识别 

特征 提取 是 对 模式 所 包含 的 输入 信息 进行 处 理 和 分 析 ， 将 不 易 受 随机 因素 干扰 的 基本 固 
有 信息 作为 该 模式 的 特征 提取 出 来 。 特 征 提取 过 程 是 根据 实际 应 用 要 求 去 除 宛 余 信息 的 过 
程 ， 具 有 提高 识别 精度 、 减 少 运算 量 和 提高 运算 速度 的 作用 。 良 好 的 特征 应 具有 可 区 分 性 、 
稳定 性 和 独立 性 。 从 数学 角度 上 讲 ， 特 征 提取 过 程 是 一 个 向 量变 换 的 过 程 ， 即 从 原 模式 向 量 
X= (x, xa, ++, x) 变换 到 特征 向 量 己 = A, fas os fy) 的 过 程 。 其中，n 称 为 数据 空 
间 维 数 ; m 称 为 特征 空间 维 数 。 

人 脸 识 别 本 质 上 是 3 维 塑性 物体 2 维 投影 图 像 的 匹配 问题 ， 它 的 困难 体现 在 : 

1) 人 脸 塑 性 变形 如 表情 等 的 不 确定 性 ; 

2) 人 脸 模 式 的 多 样 性 ， 如 胡须 、 发 型 、 眼 镜 、 化 妆 等 ，; 

3) 图 像 获 取 过 程 中 的 不 确定 性 ， 如 光照 的 强度 、 光 源 方向 、 干 扰 噪声 等 。 

人 脸 识别 主要 依据 人 脸 上 的 特征 ， 也 就 是 说 ， 依 据 那些 在 不 同 个 体 之 间 存 在 差异 而 对 于 
同一 个 人 具有 较 高 稳定 性 信息 的 度量 。 由 于 人 脸 变 化 具有 复杂 性 ， 因 此 人 脸 特 征 表述 和 特征 
提取 十 分 困难 。 

人 脸 图 像 的 特征 提取 与 识别 方法 可 归纳 为 几何 特征 法 、 特 征 脸 法 、 局 部 特征 法 、 弹 性 模 
型 法 、 神 经 网 络 法 、 不 变 矩 法 、 自 适应 主 元 提取 法 、 核 主 元 分 析 法 、 奇 异 值 特征 法 、 最 佳 鉴 
别 向 量 法 等 。 

(4) 应 用 实例 

本 应 用 实例 在 对 人 脸 识 别 的 原理 及 相关 技术 和 方法 进行 学 习 人 研究 后 ， 利 用 清华 大 学 图 像 
处 理 实验 室 的 人 脸 识 别 开 发 包 ( 以 DLL 形式 提供 ) 。 在 视觉 通道 的 说 话 人 识别 过 程 中 ,包括 
人 脸 的 注册 和 识别 两 个 流程 ， 流 程 框图 可 如 图 6-9 所 示 。 

在 注册 流程 中 ， 首 先 检测 缓冲 区 图 像 中 所 有 满足 一 定 条 件 的 人 脸 位 置 ， 并 根据 检测 结果 
确定 眼睛 的 位 置 ， 然 后 根据 眼睛 位 置信 息 来 提取 人 脸 特 征 ， 将 其 存放 入 内 存 中 ， 形 成 人 脸 特 
征 模 板 ， 供 识别 时 用 。 人 脸 识 别 时 只 需 检查 模板 库 中 是 否 有 与 当前 缓冲 区 中 人 脸 特 征 相 似 的 
人 脸 参 数 便 可 得 到 识别 结果 。 这 种 基于 模板 匹配 的 思路 与 前 面 所 说 的 听觉 通道 上 的 说 话 人 识 
别 相 似 。 图 6- 10 所 示 为 人 脸 注 册 和 识别 实验 。 
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获取 人 脸 图 像 


检测 、 定 位 、 登 录 


_InitTHFaceID 
| THLoadPopulation 






捕获 图 像 、 检 测 、 定 位 、 
保存 人 脸 特 征 模板 征 提取 、 认 证 或 者 识别 


FreeTHFaceID _FreeTHFaceID 


图 6-9 人 脸 注册 流程 图 ( 左 图 ) 和 人 上 脸 识别 流程 图 ( 右 图 ) 
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图 6-10 ”人 脸 注 册 和 识别 实验 





在 图 6-10 中 ,注册 时 输入 的 身份 是 “妈妈 ”， 识别 时 的 识别 结 采 也 为 “妈妈 ”， 即 验证 
了 视觉 通道 的 说 话 人 识别 功能 基本 实现 。 


6. 2.3 ”视线 交互 技术 


人 类 通过 视觉 获取 大 部 分 的 外 界 信 息 ， 因 此 在 人 机 界面 设计 中 所 涉及 的 交互 技术 几乎 都 
需要 视觉 的 参与 。 例 如 ， 当 用 户 使 用 鼠标 控制 屏幕 上 的 光标 选择 感 兴趣 的 目标 时 ， 视 线 随 注 
意 点 聚集 到 该 目标 上 ， 然 后 检查 光标 与 该 目标 的 空间 差距 ， 再 反馈 给 大 脑 并 经 大 脑 指 挥手 移 
动 鼠 标 ， 直 至 视觉 判断 光标 已 位 于 目标 位 置 为 止 ， 此 交互 过 程 自始至终 都 离 不 开 视 觉 。 

如 果 用 户 采 着 感 兴趣 的 目标 ,情感 机 恬 人 便 “ 自 动 ” 将 光标 置 于 其 上 ， 人 机 交互 将 更 
为 直接 ， 视 线 跟 踪 技 术 的 目标 正在 于 此 。 早 期 的 视线 跟踪 技术 主要 应 用 于 心理 学 研究 、 助 残 
等 领域 ， 后 来 被 应 用 于 图 像 压 缩 及 人 机 交互 技术 。 视 线 跟 踪 技 术 有 强迫 式 与 非 强迫 式 、 穿 戴 
式 与 非 穿戴 式 、 接 触 式 与 非 接 触 式 之 分 。 视 线 追 踪 主 要 用 于 军事 领域 (如 飞行 员 观 察 记 
录 ) 、 阅 读 及 帮助 残疾 人 通信 等 。 
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1. 视线 追踪 概述 

在 使 用 计算 机 界面 时 ， 眼 动 行为 和 视线 在 视觉 信息 加 工 过 程 中 起 着 重要 作用 。 在 正常 视 
觉 观察 过 程 中 ， 眼 动 不 是 平滑 的 和 连续 的 ， 而 是 由 注视 和 有 眼 跳 构成 的 交替 序列 。 注 视 是 指 视 
线 在 某 一 位 置 停留 100 ms 以 上 ， 一 般 认 为 这 种 停顿 主要 用 于 从 界面 上 获取 信息 或 进行 内 部 
加 工 。 眼 跳 是 指 眼 睛 在 两 个 注视 点 之 间 的 快速 跳动 ， 持 续 时 间 为 30 ~ 120 ms， 大 小 为 1 ~ 
40° ， 最 高 速度 可 达 400 ~ 600 */s。 在 注视 中 也 存在 眼睛 快速 、 微 小 的 运动 ， 其 空间 大 小 不 
超过 1" ， 称 为 生理 震颤 (nystagmus) 。 眼 动 行为 可 用 于 揭示 用 户 在 显示 器 上 注意 和 感 兴趣 的 
空间 位 置 ， 如 Loftus 和 Macorth (1978) 发 现 用 户 的 眼睛 多 注视 在 出 乎 意料 的 、 突 出 的 和 重 
要 的 区 域 上 ， 集 中 注意 以 获取 最 大 量 的 信息 量 。 人 类 的 视线 反映 出 人 的 注意 方向 ， 视 线 所 指 
通常 反映 用 户 感 兴趣 的 对 象 。 眼 睛 看 物体 的 过 程 是 转动 眼球 使 物体 出 现在 视网膜 的 中 央 町 
中 ， 因 此 眼球 的 位 置 指示 了 我 们 注视 场景 中 的 特定 区 域 。 

由 于 视觉 交互 具有 直接 性 和 自然 性 ， 人 们 对 这 种 人 机 交互 方式 一 直 具 有 很 大 的 兴趣 ， 同 
时 ， 因 为 人 们 的 视线 中 包含 注视 方向 、 注 视 位 置 、 注 视 时 间 长 度 等 大 量 有 用 信息 ， 所 以 这 也 
给 通过 计算 机 图 像 处 理 等 技术 手段 来 获得 并 记录 下 当前 的 视线 方向 和 落 点 位 置 提供 了 可 能 。 
视线 追踪 技术 就 是 在 这 样 的 情况 下 逐步 发 展 起 来 的 。 视 线 追 踪 技 术 就 是 利用 机 械 、 电 子 、 光 
学 等 现 有 检测 手段 获取 受 试 者 当前 “视觉 注意 ”( 注 视 ) 方向 的 技术 。 近 年 来 ， 随 着 眼 动 理 
论 研 究 的 进步 和 精密 视线 追踪 装置 的 问世 ， 视 线 追 踪 技 术 已 经 发 展 到 了 可 以 实际 应 用 的 
程度 。 

2. 视线 追踪 原理 

视线 追踪 技术 源 于 对 人 类 眼睛 的 研究 ， 因 此 ， 要 介绍 视线 追踪 技术 首先 要 知道 人 类 的 眼 
球 结构 。 

在 视网膜 上 有 一 个 非常 特殊 的 小 区 域 ， 称 之 为 小 止 。 上 面 集中 了 绝 大 部 分 对 颜色 敏感 的 
细胞 ， 人 对 于 景物 细节 的 感知 全 有 赖 于 它 。 小 凹 并 不 是 准确 的 位 于 由 眼球 和 瞳孔 中 心 所 确定 
的 光 轴 上 。 眼 睛 的 光 轴 被 称 之 为 视线 (line of gaze LoG) ， 源 自 小 止 穿 过 瞳孔 中 心 的 线 称 为 
视觉 线 (line of sight LoS) 。 正 是 视觉 线 而 非 视线 决定 了 人 的 视觉 关注 。 如 果 可 以 估计 视线 
或 视觉 线 的 方向 并 且 掌 握 景 物 的 信息 ， 那 么 关注 点 就 由 离 视线 和 视觉 线 交 叉 点 最 近 的 景物 来 
确定 。 人 眼 可 见 光 线 (visible light) 只 占 全 部 波长 中 的 一 小 段 ( 即 400 ~700nm), Fl 6-11 
所 示 为 人 眼 的 主要 结构 。 眼 睛 近似 于 球状 半径 约 12mm。 眼 睛 的 外 层 ， 可 见 的 依次 是 巩膜 
(白色 的 部 分 )， 虹 膜 (有 颜色 的 部 分 ) 和 瞳孔 〈 在 虹膜 中 心 ) 。 
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图 6-11 有 眼球 结构 图 
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AeA, CAPA RE mR UL, AER. MARU 
一 个 环 状 体 ， 称 作 瞳 孔 ， 它 的 作用 是 通过 持续 改变 大 小 来 调节 眼睛 的 进 光 量 。 虹 膜 后 面 是 唱 
状 体 ， 眼 球 中 一 种 透明 的 双 面 凸 体 ， 位 于 虹膜 与 玻璃 体 之 间 ， 可 使 穿 过 瞳孔 进入 眼球 的 光线 
聚集 在 视网膜 上 形成 图 像 。 视 网 膜 位 于 眼球 的 后 面 ， 列 含 大 量 感光 细胞 。 在 角膜 和 晶状体 之 
间 是 水 样 体 ， 在 晶状体 和 视网膜 之 间 是 玻璃 体 。 光 线 在 进入 眼睛 后 穿 过 这 一 系列 光 介 质 并 在 
各 个 层面 上 经 反射 和 折射 后 最 终 到 达 视 网 膜 。 

视线 追踪 技术 原理 如 图 6-12 所 示 ， 视 线 追 踪 技 术 由 两 部 分 构成 : 信息 获取 和 视线 方向 
判别 。 
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信息 获取 | 视线 方向 判断 





图 6-12 视线 追踪 技术 原理 图 





信息 获取 是 指 眼 部 生物 特征 信息 的 检测 ， 而 视线 方向 判别 主要 是 指 根 据 检测 到 的 眼 部 特 
征 信息 判 别 视线 方向 并 获取 视线 落 点 。 视 线 追 踪 技 术 是 利用 眼 部 某 些 结构 和 特征 ， 在 眼球 转 
动 时 相对 位 置 不 变 ， 将 其 作为 参照 ， 然 后 在 位 置 变化 特征 和 不 变 特 征 之 间 提 取 视 线 变 化 参 
数 ， 这 些 参数 是 判别 视线 方向 的 主要 依据 。 据 此 ， 可 将 视线 追踪 方法 分 为 两 类 : 一 类 是 通常 
在 普通 光照 条 件 下 ， 利 用 眼角 、 眼 皮 、 眼 眶 等 其 他 眼 部 结构 的 位 置 、 形 状 不 变性 来 提取 视线 
方向 参数 。 在 自然 光照 的 条 件 下 ， 虽 不 能 将 瞳孔 与 虹膜 分 开 ， 但 可 以 认定 二 者 是 同心 圆 ， 且 
在 眼 动 过 程 中 是 同步 变化 的 。 这 样 可 以 利用 虹膜 相对 于 眼角 的 变化 来 提取 视线 方向 变化 
参数 。 

另 一 类 是 在 红外 光照 条 件 下 的 瞳孔 - 角膜 反射 法 ， 假 设 角 膜 是 规则 的 球面 ， 普 尔 钦 斑 作 
为 光源 在 角膜 球面 上 成 的 像 ， 无 论 球面 如 何 转 动 该 斑点 在 球面 上 的 绝对 位 置 不 会 发 生 太 大 变 
化 。 这 样 ， 当 眼球 转动 时 ， 亮 玉 在 球面 上 的 位 置 基本 不 变 。 普 尔 钦 斑点 作为 一 个 位 置 标准 ， 
在 视线 方向 发 生变 化 时 可 以 通过 它 提取 相应 变化 的 参数 。 
通过 眼 部 特征 的 检测 ， 可 以 获得 人 眼 视 线 方向 估计 的 平面 参数 ， 如 上 文中 的 普尔 钦 斑 中 
心 至 瞳孔 中 心 矢量 。 然 后 利用 平面 视线 参数 计算 3D 视线 方向 。 在 空间 视线 方向 计算 阶段 ， 
主要 采用 两 种 数学 模型 : 一 种 是 从 眼球 的 生理 结构 出 发 ， 建 立 空间 几何 模型 另 一 种 是 从 效 
果 出 发 ， 建 立 平面 参数 与 视线 落 点 平面 坐标 的 映射 模型 。 

3. 应 用 实例 

视线 追踪 模块 的 代码 移植 自 北 京 科技 大 学 王 志 良 教授 带领 的 机 器 人 研究 实验 室 “ 视 线 
追踪 ”课题 组 开发 的 视线 追踪 程序 。 视 线 追 踪 设 备 有 一 套 硬件 系统 和 一 套 上 位 机 程序 。 视 
线 追 踪 系 统 利 用 瞳孔 -角膜 反射 (PCCR) 技术 得 到 用 户 视 线 在 屏幕 上 的 落 点 ， 并 将 该 落 点 
坐标 提取 出 来 。 视 线 追 踪 的 硬件 设备 如 图 6-13 所 示 。 
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在 编写 视线 追踪 模块 程序 时 ， 通 过 掌握 视线 追踪 的 原理 以 及 视线 追踪 程序 的 整体 结构 和 
运行 流程 ， 并 根据 “虚拟 管家 软件 ”中 虚拟 情感 机 器 人 的 需求 和 程序 结构 ， 对 原 视 线 追 踪 
代码 进行 了 适当 的 修改 和 删 减 ， 提 取出 我 们 所 需要 的 核心 代码 。 然 后 ， 对 这 部 分 核心 代码 进 
行 重新 设计 ， 封 小 成 视线 追踪 模块 ， 并 设计 编写 了 模块 的 接口 函数 。 最 后 将 视线 追踪 模块 加 
入 到 “虚拟 管家 软件 ”程序 中 。 在 主 程序 中 调用 视线 追踪 模块 的 接口 函数 ， 成 功 实现 视线 
追踪 功能 。 程 序 流程 图 如 图 6-14 所 示 。 


初始 化 设备 





















设置 检测 范围 检测 视线 落 点 
注册 处 理 检 测 向 主 窗口 返回 
结果 的 函数 视线 落 点 坐标 
设置 检测 参数 

图 6-13 视线 追踪 硬件 设备 图 6-14 视线 追踪 模块 流程 图 


1) 初始 化 设备 。 视 线 追 踪 模 块 需要 用 到 图 像 采集 卡 和 摄像 头等 硬件 设备 ， 所 以 在 开始 
检测 前 需要 对 这 些 设备 进行 初始 化 。 调 用 视线 追踪 模块 的 gzInit 接口 进行 初始 化 。 

2) 设置 检测 范围 。 这 一 步 用 来 设置 视线 追踪 程序 的 检测 范围 ， 可 以 指定 检测 范围 为 屏 
幕 上 某 一 区 域 。 默 认 检 测 范 围 为 全 屏幕 。 调 用 视线 追踪 模块 的 gzSetScreenRect 接口 进行 
设置 。 

3) 注册 处 理 检 测 结果 的 函数 。 该 步 用 来 设置 程序 检测 结果 的 处 理 函 数 。 本 模块 的 处 理 
结果 函数 SendXY () ， 可 向 主 窗口 发 送 视线 落 点 坐标 。 通 过 向 两 个 函数 指针 OnRegion 和 
OnPos 传递 值 来 实现 注册 。 

4) 设置 检测 参数 。 不 同 用 户 的 脸 部 特征 各 不 相同 ， 为 每 个 用 户 设置 不 同 的 检测 参数 有 
利于 提高 检测 精确 度 。 每 名 用 户 的 参数 都 存储 在 一 个 指定 的 文本 文件 中 ， 通 过 调用 视线 追踪 
模块 的 gzSetParameters 接口 来 读 取 文 本 文件 中 的 参数 进行 设置 。 

5) 检测 视线 落 点 。 通 过 调用 视线 追踪 模块 的 gzStart 接口 开始 进行 视线 追踪 。 

6) 向 主 窗口 发 送 视线 落 点 坐标 。 检 测 到 视线 落 点 之 后 调用 在 第 三 步 中 注册 的 结果 处 理 
函数 向 主 窗口 发 送 视线 落 点 坐标 。 

7) 判断 是 否 退 出 视线 追踪 检测 。 如 果 不 退出 则 转 到 第 5 步 。 如 果 退 出 则 转 到 第 八 步 。 
释放 占用 的 内 存 空 间 和 设备 资源 退出 视线 追踪 。 

下 面 是 利用 视线 追踪 技术 蔡 代 鼠标 单 击 按钮 的 实验 示例 : 
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图 6-15 Bras AB AGE Be ARN E D AEE K LZ SB HR, BKA KS 
视线 用 鼠标 来 形式 化 、 可 视 化 。 此 时 若 检测 到 鼠标 在 “对 话 聊 天 ”按钮 上 停留 超过 SP, 
则 做 出 用 户 想 激活 此 按钮 的 判断 。 
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图 6-15 ”利用 视线 追踪 技术 替代 鼠标 让 
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6.3 ”人 机 交互 系统 的 设计 与 评估 


6.3.1 人 机 交互 系统 的 设计 


人 机 交互 正 朝 着 自然 和 谐 的 人 机 交互 技术 和 用 户 界 面 的 方向 发 展 ， 这 也 是 设计 交互 式 系 
统 的 核心 所 在 : 将 用 户 放 在 第 一 位 ， 坚 持 以 用 户 为 中 心 。 程 序 设 计 人 员 在 长 期 的 软件 研究 与 
开发 过 程 中 ， 积 累 了 大 量 的 人 机 交互 经 验 ， 这 对 研制、 设计 一 个 成 功 的 应 用 系统 是 十 分 有 效 
的 。 这 些 经 验 的 结晶 就 构成 了 人 机 交互 系统 的 基本 设计 原则 : 

1) 用 户 控制 原则 : 在 人 机 交互 软件 设计 中 ， 应 该 让 用 户 时 刻 感到 是 自己 在 控制 计算 
机 ， 而 不 是 被 计算 机 控制 。 这 主要 体现 在 用 户 可 以 控制 并 改变 软件 系统 的 工作 环境 并 选择 操 
作 方式 。 例 如 ; 用 户 可 以 控制 软件 地 输入 /输出 /处 理 方 式 ， 改 变 交 互 状态 ， 选 择 界面 的 颜色 
及 背景 音乐 等 。 

2) 直观 性 原则 : 实现 拟人 的 交互 方式 ， 按 人 类 容易 理解 的 形式 表示 人 处理 结果 ; 采用 生 
动 形象 的 方法 来 缩短 用 户 与 计算 机 系统 之 间 的 距离 ， 直 接 以 声音 和 图 形 来 提示 操作 步 绝 ， 使 
用 户 一 听 就 懂 、 一 看 就 会 。 

3) 可 视 性 原则 : 可视化 设计 是 软件 界面 设计 中 一 项 非常 重要 的 方面 。 大 量 采用 可 视 化 
(Visual) 技术 和 隐喻 、 比 拟 的 手法 可 以 减少 用 户 使 用 计算 机 的 困难 。 

4) 易 用 性 原则 : 具体 体现 在 以 下 几 个 方面 : 

(D 用 户 无 须 事先 学 习 许 多 使 用 该 系统 的 知识 和 规定 ， 上 机 后 按照 屏幕 上 的 提示 信息 即 
可 进行 操作 。 

D 为 了 给 用 户 及 时 提供 帮助 ， 应 该 对 每 个 选择 项 配备 语音 和 文字 说 明 ， 当 用 户 遇 到 困 
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难 时 可 以 很 快 得 到 解答 。 

O 鼓励 用 户 实践 ， 人 允许 操 作 失 误 而 不 会 破坏 系统 正常 工作 ， 能 够 及 时 发 现 用 户 的 错误 
操作 ， 并 予以 纠正 。 

5) 及 时 响应 原则 : 能 对 用 户 的 操作 尽 可 能 敏感 地 作出 反应 。 在 接受 指令 后 用 户 对 计算 
机 毫 无 反应 的 忍耐 时 间 通 常 在 3 ~$s， 若 软件 需要 进行 一 项 耗 时 的 工作 ， 必 须 向 用 户 反馈 其 
工作 进程 。 

6) 简洁 性 原则 :软件 界面 必须 人 简洁， 选择 项 力求 精练 ， 措 词 要 准确 ， 图 标 要 形象 生 
动 ， 使 用 户 一 目 了 然 。 切 鼠 繁 杂 的 画面 和 宛 长 的 说 明 。 

7) 一 致 性 原则 : 包括 交互 一 致 性 、 作 用 一 致 性 、 表 象 一 致 性 、 比 拟 一 致 性 和 范畴 一 至 
性 等 。 这 些 一 致 性 使 用 户 能 把 现 有 的 知识 传递 到 新 任务 中 去 ， 可 以 更 快 学 习 到 新 的 知识 。 在 
所 有 界面 元 素 的 设计 过 程 中 ， 保 持 一 致 性 极为 重要 。 

自然 和 谐 的 人 与 情感 机 器 人 交互 是 在 视觉 、 听 觉 、 触 觉 、 味 觉 和 嗅觉 这 五 种 感官 通道 上 
进行 的 交互 过 程 。 因 此 ， 在 设计 完整 的 人 机 交互 系统 软件 时 ， 除 了 依据 以 上 所 述 的 原则 外 ， 
还 要 考虑 多 通道 的 交互 及 其 相互 融合 。 多 感官 输入 能 改进 我 们 与 现实 世界 的 交互 ， 利 用 多 感 
官 通道 的 交互 系统 将 提供 更 加 丰富 的 交互 体验 。 


6.3.2 ”人 机 交互 系统 的 评估 


既然 人 机 交互 系统 的 设计 是 以 人 为 中 心 ， 那 么 它 的 评 佑 也 应 是 人 对 其 可 用 性 、 功 能 性 和 
可 接受 性 的 测试 。 评 佑 有 三 个 主要 目标 : 评估 系统 功能 的 范围 和 可 达 性 、 评 售 交 互 中 用 户 的 
经 验 和 确定 系统 的 任何 特定 问题 。 系 统 功能 性 是 重要 的 ， 必 须 与 用 户 的 需求 一 致 ， 换 句 话 
说 ， 系 统 设 计 要 使 用 户 更 容易 地 执行 他 们 期 望 的 任务 ， 这 不 仅 包 括 使 系统 具有 合适 的 功能 ， 
也 包括 用 户 能 够 清楚 地 得 到 需要 执行 任务 的 一 系列 行为 ， 还 包括 将 系统 的 应 用 匹配 到 用 户 对 
任务 的 期 望 中 。 

除了 依照 系统 的 功能 评估 系统 设计 外 ,评估 用 户 的 交互 体验 和 系统 对 用 户 的 影响 也 是 很 
重要 的 。 例 如 对 我 们 设计 的 面向 数字 家 庭 的 虚拟 管家 软件 平台 的 评 佑 ， 很 重要 的 一 个 方面 就 
是 数字 家 庭 中 家 庭 成 员 的 体验 评价 ， 这 也 就 涉及 一 个 更 深层 次 的 问题 ， 那 就 是 如 何在 数字 家 
庭 中 建立 一 个 良好 的 人 机 交互 模型 。 当 然 还 有 用 户 界 面 方面 的 评估 等 等 。 

总 之 ,我 们 在 研究 人 与 情感 机 带 人 交互 时 ， 需 要 坚持 以 人 为 中 心 ， 然 后 进行 多 方面 的 
考虑 。 







































































E 4 起 


6-1 简 述 什么 是 人 机 交互 技术 ?并 说 明 人 机 交互 技术 主要 研究 哪些 内 容 ? 

6-2 简单 介绍 人 机 技术 交互 与 其 他 相关 学 科 的 关系 。 

6-3 为 什么 需要 人 机 交互 ? 

6-4 简单 介绍 人 机 交互 的 相关 技术 。 

6-5 ”对 于 不 同 的 交互 式 系统 ， 支 配 适当 的 评估 方法 选择 的 因素 是 什么 ? 

6-6 ”讨论 环境 意识 、 自 动 捕获 和 日 常 计算 的 连续 交互 是 如 何 与 家 庭 生 活 相关 的 ? 
6-7 ”虚拟 现实 已 经 在 市 场 上 找到 了 许多 应 用 ， 举 例 具 体 说 明 在 数字 家 庭 中 一 个 应 用 。 
6-8 简 述 近年 来 人 机 交互 技术 的 进展 ， 特 别 是 进入 自然 和 谐 人 机 交互 时 期 的 发 展 。 







































































ro oS oe 
nN A U N 一 
人 





[13] 


[14] 
[15] 


113 

















6-9 简 述 自然 环境 中 人 获取 信息 的 方式 ， 并 思考 其 流程 及 主要 的 方法 。 
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a7 软件 集成 


第 6 章 介 绍 了 虚拟 情感 机 器 人 与 人 的 交互 与 合作 ， 本 章 将 要 介绍 的 是 物理 情感 机 天 人 与 
人 的 交互 与 合作 。 主 要 内 容 包括 介绍 上 位 机 程序 的 设计 与 集成 ， 上 位 机 程序 对 情感 机 器 人 的 
控制 ， 以 及 人 与 情感 机 器 人 的 交互 功能 。 本 章 将 重点 通过 对 整体 设计 思路 以 及 各 个 模块 的 具 
体 设 计 方式 向 大 家 讲述 软件 平台 的 搭建 ， 如 图 7-1 所 示 。 














图 7-1 物理 情感 机 器 人 软件 平台 








本 章 对 各 模块 之 间 的 关系 ， 以 及 各 模块 间 相 互通 信 的 方式 进行 了 详细 介绍 ， 最 终 实现 机 
器 人 与 人 的 情感 交互 功能 。 北 京 科 技 大 学 王 志 和 良 教授 带领 的 机 器 人 研究 实验 室 制作 的 机 器 人 
如 图 7-2 所 示 。 











到 7-2 ”北京 科技 大 学 王 志 良 教授 带领 的 机 器 人 研究 实验 室 制 作 的 机 器 人 
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其 中 第 一 个 机 器 人 可 以 实现 简单 的 人 机 交互 功能 ; 第 二 个 机 器 人 在 外 形 上 做 了 很 大 的 改 
进 ， 更 加 类 似 于 人 型 ， 并 能 实现 人 机 交互 的 基本 功能 ; 第 三 个 机 器 人 是 仿 人 机 器 人 ， 能 够 实 
现 模仿 人 的 简单 表情 ; 第 四 个 机 器 人 也 是 仿 人 机 融 人 ， 该 机 器 人 模仿 爱 因 斯 坦 的 外 形 ， 能 
实现 各 种 面部 表情 表演 ， 能 够 与 人 进行 语音 交互 。 


7.1 ”情感 机 器 人 体系 结构 规划 设计 


体系 结构 是 情感 机 器 人 系统 研究 的 一 个 重要 内 容 ， 是 指 在 智能 机 器 人 系统 中 智能 、 行 
为 、 信 息 、 控 制 的 时 空 分 布 模式 ， 是 机 器 人 智能 的 逻辑 载体 。 体 系 结构 主要 是 研究 如 何 设 
计 、 控 制 机 器 人 的 硬件 和 软件 系统 ， 最 终 实 现 情感 机 器 人 所 需要 完成 的 功能 。 在 实际 的 情感 
机 需 人 与 人 交互 或 完成 作业 过 程 中 ， 情 感 机 器 人 需要 面 对 一 个 不 断 变化 的 环境 ， 在 这 样 的 环 
境 中 ， 人 情感 机 器 人 需要 保持 对 各 种 情况 的 及 时 反应 ， 决 策 规 划 行 为 ， 以 及 时 进行 和 谐 的 交 
互 。 为 使 情感 机 器 人 表现 出 这 样 的 特质 ， 进 行情 感 机 器 人 控制 体系 结构 的 研究 是 必要 的 。 


7.1.1 国内 外 研究 现状 


任何 机 器 人 都 有 自己 的 体系 结构 ， 不 同体 系 结构 的 个 体 ， 决 策 所 采用 的 方法 、 过 程 也 不 
尽 相 同 。 通 常 对 机 器 人 体系 结构 的 研究 有 两 个 层面 ， 一 个 是 系统 的 功能 逻辑 层面 ， 主 要 研究 
如 何 使 机 器 人 具有 更 强大 的 完成 任务 的 能 力 ， 属 于 体系 结构 的 功能 设计 ; 另 一 个 层面 是 体系 
结构 的 实现 模型 ， 主 要 研究 机 天 人 控制 的 软 便 件 实现 问题 。 

机 器 人 的 控制 体系 结构 研究 有 两 种 主要 研究 方法 ， 传 统 的 基于 认 知 模型 的 功能 规划 法 和 
近来 兴起 的 基于 行为 的 方法 。 目 前 ， 自 主 式 智能 系统 可 分 为 以 下 几 类 : 

1. 传统 结构 

传统 的 机 器 人 控制 体系 结构 源 自 基于 认 知 的 人 工 智 能 (AD 模型 ， 在 AI 模型 中 ， 智 能 
任务 由 运行 于 符号 模型 之 上 的 推理 过 程 来 实现 ， 它 强调 以 环境 模型 为 基础 的 抽象 推理 ， 是 机 
器 人 智能 不 可 缺少 的 组 成 部 分 ， 而 且 该 模型 必须 是 准确 的 、 一 致 的 。 因 此 传感器 信息 的 校 验 
具有 与 模型 本 身 同等 的 重要 性 。 并 且 传 统 方法 遵循 的 是 一 条 从 感知 到 动作 的 串 行 功能 分 解 控 
制 路 线 ， 是 一 种 典型 的 自 顶 向 下 构建 系统 的 方法 ， 如 图 7-3 所 示 。 从 这 个 意义 上 讲 ， 动 作 不 
是 传感器 数据 直接 作用 下 的 结果 ， 而 是 经 历 一 系列 从 感知 、 建 模 到 规划 等 处 理 阶段 之 后 产生 
的 结果 ， 这 类 系统 的 特点 是 能 够 完成 用 户 明确 描述 的 特定 任务 。 但 世界 模型 过 于 理想 化 ， 对 
感知 器 提出 了 一 些 不 切实 际 的 要 求 ， 而 且 由 于 认 知 过 程 和 符号 化 世界 模型 的 建立 过 程 中 存在 
的 计算 瓶颈 ， 使 得 传感器 到 驱动 机 构 的 控制 环 路 中 存在 着 延 时 ， 因 而 缺乏 实际 运行 所 要 求 的 


实时 性 和 灵活 性 。 
感 it 规 执 
知 模 划 行 


图 7-3 机 器 人 的 串 行 功 能 分 解体 系 结构 
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2. 分 层 递 阶 式 结 构 

美国 学 者 Saridis 提出 一 种 关于 智能 控制 系统 的 三 级 分 层 递 阶 式 体系 结构 ， 其 分 层 的 原 
则 是 随 着 控制 精度 的 增加 智能 降低 ， 较 好 地 解决 了 智能 和 控制 精度 的 问题 。 分 层 递 阶 结构 一 
般 按 功能 要 求 划 分 系统 模块 ， 模 块 之 间 以 分 层 递 阶 方式 相 联 系 。 每 层 只 能 与 其 相 邻 的 上 下 层 
交换 信息 ， 下 层 要 等 待 上 层 的 规划 ， 上 层 要 等 待 下 层 任务 的 完成 。 其 优点 是 系统 的 功能 和 层 
次 分 明 ， 易 于 实现 ， 且 能 满足 一 些 复 杂 任 务 的 要 求 。 典 型 的 形式 如 图 7-4 所 示 。 但 是 该 结构 
由 于 采用 串 行 处 理 方式 ， 使 得 对 外 部 事件 的 反应 时 间 变 长 ， 任 何 环境 的 变化 都 有 可 能 导致 重 
新 规划 的 发 生 ， 从 而 降低 了 任务 完成 的 效率 。 

3. 包容 式 体系 结构 

包容 式 体系 结构 是 美国 麻 省 理工 学 院 的 R. Brooks 提出 的 ， 其 结构 图 如 图 7-5 所 示 。 包 
容 体系 结构 模拟 了 动物 反应 式 行为 的 特点 ， 采 用 所 谓 “ 感 知 一 动作 ”的 结构 ， 也 称 基 于 行 
X (Behaviour -based) 的 结构 ， 否 定 知 识 符号 表示 的 重要 性 。 实 验 表 明 ， 包容 体 系 结构 在 
动态 环境 中 不 确定 性 处 理 和 模仿 动物 的 低级 反射 行为 方面 具有 很 多 优点 。 包 容 式 体系 结构 强 
调 了 单元 的 独立 、 并 行 工作 ,缺少 全 局 的 指导 和 协调 ， 对 于 长 远 的 全 局 性 目标 跟踪 缺少 主动 
性 ， 目 的 性 较 差 。 



































功能 层 V 


功能 层 N-1 
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功能 层 2 
= 功能 层 1 
感 行 
器 器 
图 7-4 分 层 递 阶 式 体系 结构 图 7-5 包容 式 体系 结构 


4. 混合 式 体 系 结构 

混合 式 体 系 结构 是 一 种 综合 分 层 递 阶 式 结构 和 包容 式 体 系 结构 二 者 优点 的 体系 结构 ， 以 
克服 分 层 递 阶 式 体 系 结构 在 不 确定 和 未 知 环境 中 建 模 困 难 、 实 时 性 和 适应 性 差 等 缺点 ; 同时 
实现 对 已 有 环境 信息 进行 有 效 表 示 和 利用 ， 完 成 单一 结构 无 法 实现 的 复杂 导航 任务 。 

5. 基于 功能 /行为 集成 的 进化 体系 结构 

基于 传统 AL 认 知 模型 的 机 器 人 控制 结构 缺乏 实用 性 和 必要 的 灵活 性 与 普 适 性 ; 以 
Brooks 的 SA 结构 为 代表 的 基于 行为 的 控制 体系 结构 提高 了 系统 的 响应 速度 和 自主 性 ， 但 同 
样 存在 着 缺乏 必要 的 理性 和 受到 诸如 设计 者 预见 能 力 限 制 等 问题 。 为 此 ， 提 出 了 一 种 综合 二 
者 优点 的 体系 结构 ， 并 在 其 中 融入 进化 控制 的 思想 ， 提 出 了 基于 功能 /行为 集成 的 进化 体系 
结构 ， 整 个 体系 结构 包括 进化 规划 与 基于 行为 的 控制 两 大 模块 。 这 种 综合 体系 结构 的 优点 是 
使 系统 既 具 有 基于 行为 的 实时 性 ， 又 保持 了 基于 功能 的 目标 可 控 性 。 将 其 应 用 于 移动 机 器 人 
的 控制 取得 较 好 效果 。 
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6. 基于 人 工 情感 的 拟人 机 器 人 控制 体系 结构 
对 人 工 情感 〈 即 机 器 的 情感 ) 的 研究 分 为 两 种 外 在 情感 和 内 在 情感 。 前 者 是 研究 机 


器 如 何 表达 它 的 情感 以 及 机 器 如 何 检测 人 所 表达 的 号 


情感 ， 目 的 是 建立 一 种 和 谐 的 人 机 交互 环境 ， 即 站 
Miss: 学 习 、 匹配 


所 谓 的 情感 计算 。 后 者 的 目的 则 是 研究 如 何在 计 
人 Bit 上 一 感知 空间 











算 机 内 部 应 用 情感 来 对 其 决策 过 程 做 出 贡献 ， 其 
研究 的 合理 性 已 得 到 神经 科学 家 Damasio 实验 研 
究 证 据 的 支持 。 在 此 基础 之 上 ,提出 了 基于 人 工 
情感 的 拟人 机 器 人 控制 体系 结构 ， 根 据 机 体 标记 
理论 ， 在 资源 受 限 的 条 件 下 ， 通 过 不 完全 复 现 部 
分 表达 交互 过 程 ， 以 人 工 情感 为 核心 设计 了 如 图 
7-6 所 示 的 机 器 人 控制 体系 结构 ， 在 这 种 结构 中 ， 














情感 作为 内 部 状态 影响 到 从 信息 输入 到 行为 输出 
图 7-6 基于 人 工 情感 的 拟人 
的 各 个 部 分 。 


机 器 人 控制 体系 结构 
7.1.2 基于 人 工 心理 认 知 /行为 的 分 层 式 交 互 机 器 人 体系 结构 


机 器 人 是 智能 模拟 的 重要 手段 和 研究 载体 ， 其 体系 结构 决定 了 机 器 人 智能 、 行 为 、 信 
息 、 控 制 的 时 空 分 布 模式 ， 也 从 根本 上 决定 了 机 器 人 的 智能 水 平和 行为 方式 。 

具有 情感 的 智能 机 器 人 主要 应 用 于 直接 与 人 进行 面对面 的 交互 场合 ， 为 人 类 提供 信息 查 
询 或 者 娱乐 服务 。 这 种 机 器 人 作为 人 类 的 伙伴 参与 到 人 类 社会 的 各 种 活动 中 ， 它 们 可 以 有 像 
人 一 样 的 身体 ， 可 以 提供 内 容 丰 富 的 各 种 信息 和 交互 途径 ， 使 我 们 可 以 流畅 地 与 机 器 人 进行 
各 种 形式 的 沟通 。 

情感 机 器 人 交互 平台 采用 多 智能 体 结构 ， 系 统 中 的 基本 单元 被 称 为 智能 体 (Agent) 。 它 
们 是 具有 自主 功能 的 能 独立 完成 一 定子 任务 的 功能 模块 ， 并 具有 一 个 协调 机 构 负责 组 织 协 调 
各 个 智能 体 ， 使 之 总 体 行为 有 利于 预定 目标 的 实现 。 多 Agent 系统 可 以 通过 并 行 机 制 加 速 系 
统 的 运行 。 一 个 任务 可 以 分 解 为 若干 子 任务 ,这些 任务 分 别 由 不 同 的 Agent 完成 。 利 用 多 
Agent 系 统 中 的 元 余 Agent 可 以 提高 系统 的 鲁 棒 性 。 多 Agent 系统 具有 可 扩充 性 ， 在 多 Agent 
系统 中 增加 一 个 Agent 要 比 增加 系统 的 功能 方便 得 多 。 多 Agent 系统 的 模块 化 程度 更 高 、 系 
统 设计 更 简单 。 

根据 情感 机 器 人 交互 应 用 特点 的 要 求 : 即 反 应 的 时 效 性 和 智能 性 。 我 们 提出 了 基于 人 工 
心理 的 情感 智能 机 器 人 控制 体系 结构 一 一 基于 人 工 心理 认 知 /行为 的 分 层 式 体系 结构 ， 如 图 
7-7 所 示 。 机 器 人 在 交互 层 通过 各 种 交互 感应 带 获 取 周围 的 环境 状态 信息 ， 并 经 过 简单 反射 
决策 ， 输 出 一 种 简单 的 反射 动作 ， 然 后 再 通过 上 层 的 信息 融合 得 出 符合 智能 决策 层 处 理 规则 
的 准确 信息 ， 智 能 决策 层 根 据 当 前 心理 状态 ， 当 前 交互 任务 调用 规则 知识 库 来 输出 较 复杂 的 
有 目的 的 交互 行为 ， 最 终 通过 自身 的 行为 来 表达 对 外 部 交互 刺激 的 反应 。 

这 种 体系 结构 的 设计 与 前 面 提 到 的 几 种 体系 结构 相 比 ， 能 够 更 加 显著 的 体现 情感 机 器 人 
的 交互 主动 性 心智 特征 以 及 情感 机 器 人 动作 交互 的 智能 性 和 时 效 性 。 

从 图 7-7 中 可 以 看 出 ， 情 感 机 器 人 的 控制 体系 结构 分 为 四 个 层次 : 信息 交互 层 、 本 能 反 
射 层 、 信 息 融 合 层 、 智 能 决策 层 ， 下 面 分 别 介绍 一 下 各 层 的 功能 和 划分 的 意义 。 
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人 类 + 网 络 (数字 家 庭 ) 中 的 其 他 设备 


图 7-7 基于 人 工 心理 认 知 /行为 的 体系 结构 




















信息 交互 层 : 这 一 层 作 为 我 们 交互 逻辑 的 最 底层 ， 直 接 与 环境 、 交 互 者 和 网 络 中 的 其 他 
在 线 设备 发 生 联系 。 它 包括 机 器 人 的 各 种 硬件 传感器 、 网 络 接口 和 具有 信息 采集 及 处 理 功能 
的 软件 agent， 还 包括 机 器 人 的 信息 输出 执行 机 构 。 这 里 我 们 之 所 以 把 有 信息 处 理 功能 的 智 
能 agent 放 在 这 一 层 ， 主 要 考虑 到 ， 首 先 ， 从 人 类 自身 处 理 信息 的 流程 来 分 析 ， 我 们 会 发 现 
在 交互 层 中 用 agent 所 实现 的 功能 基本 上 是 人 类 不 需要 经 过 太 多 逻辑 思维 就 能 够 实现 的 ， 这 
些 能 力 由 于 人 类 的 频 索 使 用 已 经 接近 于 人 类 的 本 能 ， 比 如 说 我 们 在 听 一 个 人 说 话 ， 我 们 把 听 
到 的 声音 信号 转化 为 可 以 理解 的 语音 信号 的 过 程 ， 此 过 程 并 没有 运用 大 脑 的 逻辑 分 析 功 能 ， 
只 是 一 种 本 能 的 表现 。 由 于 智能 交互 机 器 人 最 重要 的 特点 是 交互 的 实时 性 ， 所 以 需要 把 信息 
处 理 的 能 力 尽 可 能 分 散 开 ， 以 减轻 智能 决策 层 处 理 信 息 的 压力 ， 提 高 处 理 速度 。 

本 能 反射 层 : 这 一 层 模拟 了 人 类 的 本 能 反射 动作 和 无 意识 动作 ， 在 这 一 层 中 包含 了 我 们 
所 设计 的 一 个 简单 本 能 反射 规则 库 ， 在 这 个 库 中 包含 了 最 基本 最 简单 的 一 些 “ 感 应 一 行动 ” 
规则 ， 这 些 规 是 一 对 一 的 形式 ， 不 允许 有 复合 推理 形式 出 现 。 人 体 神经 系统 的 调节 方式 是 反 
射 ， 人 生 下 来 就 有 的 反射 称 为 简单 反射 ， 又 称 为 非 条 件 反射 ， 例 如 ， 缩 手 反 射 、 上 是 眼 反 射 等 
都 属于 简单 反射 ， 是 一 种 比较 低级 的 动作 调节 方式 ， 反 射 过 程 不 需要 经 过 大 脑 皮 层 ， 只 要 有 
疹 髓 或 脑 干 的 神经 中 枢 参 与 就 可 以 完成 ， 因 此 这 种 动作 是 没有 风 辑 成 分 的 。 人 类 还 有 一 动作 
叫做 无 意识 动作 ， 比 如 当 一 个 人 在 无 聊 的 时 候 他 可 能 会 做 拌 脚 ， 搓 手 ， 玩 头发 等 小 动作 ， 这 
些 动作 无 需 经 过 大 脑 的 逻辑 思维 就 可 完成 的 ， 因 此 我 们 把 机 器 人 的 无 意识 动作 也 放 到 这 一 
层 。 在 这 一 层 中 我 们 接收 到 的 是 各 种 传 感 智能 体 经 过 初步 处 理 的 较 原 始 交 互信 息 。 这 种 信息 
流 中 可 能 会 有 宛 余 或 冲突 性 质 的 信息 体 存在 ， 但 是 在 简单 反射 层 中 我 们 的 主要 任务 是 反应 机 
带 人 动作 的 时 效 性 ， 在 这 层 中 我 们 的 主要 任务 是 完成 简单 的 反射 动作 ， 在 制定 简单 反射 规则 
时 可 以 利用 简单 的 优先 级 规则 来 对 各 种 交互 信息 体 进行 简单 融合 以 决定 当前 要 执行 的 交互 
动作 。 
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信息 融合 层 : 这 一 层 中 接收 本 能 反射 层 过 滤 的 交互 信息 和 环境 信息 ， 对 这 些 信 息 进 行 融 
合 ， 去 除 信息 中 包含 的 噪声 信息 ， 去 除 多 信息 中 的 宛 余 信息 ， 最 后 得 到 智能 决策 层 可 以 处 理 
的 标准 信息 格式 。 
智能 决策 层 : 这 一 层 模拟 了 人 类 大 脑 中 的 逻辑 推理 和 智能 决策 过 程 。 我 们 在 做 出 一 个 决 
策 的 时 候 ， 不 但 与 得 到 的 信息 及 掌握 的 知识 有 关 ， 还 与 当时 的 心理 状态 以 及 要 达到 的 交互 任 
务 有 关 ， 因 此 ,在 这 一 层 中 我 们 创建 了 一 个 人 工 心 理 状态 模型 以 及 一 个 交互 任务 库 ， 并 把 这 
个 模型 中 的 值 和 交互 目标 作为 机 器 人 在 智能 决策 过 程 中 的 输入 变量 ， 让 机 顺 人 做 出 的 决策 能 
够 反映 出 它 当 前 的 心理 状态 及 当前 的 交互 目标 。 这 一 层 中 主要 用 一 些 推 理 和 智能 决策 的 算法 
把 输入 的 标准 交互 信息 转化 为 交互 输出 行为 信息 。 


7. 2 情感 机 器 人 软件 平台 设计 


要 想 设 计 情感 机 器 人 交互 平台 ， 首 先 需 要 对 软件 的 设计 流程 有 深刻 的 认识 。 如 图 7-8 所 
示 ， 在 整体 设计 流程 中 ， 需 求 分 析 是 第 一 步 ， 也 是 软件 能 否 达 到 预期 要 求 的 关键 环节 。 


7.2.1 结构 设计 


软件 体系 结构 描述 的 是 系统 各 部 分 软件 以 及 
它们 相互 之 间 的 关联 ， 它 既 不 是 软件 应 用 的 需 
求 ， 也 不 是 软件 系统 的 具体 实现 ， 而 是 软件 系统 
内 部 结构 配置 的 一 种 抽象 描述 ， 它 定义 了 各 部 分 
软件 系统 的 应 用 接口 规范 及 互相 操作 和 数据 通信 
的 协议 和 限制 。 总 体 上 说 ， 体 系 结构 = 软件 组 
件 + 连接 接口 〈 或 通信 协议 ) 。 

开放 式 软件 总 线 结构 满足 应 用 程序 的 “ 即 皇 
即 用 ”服务 功能 ， 通 过 总 线 中 的 通信 模块 ， 任 何 图 7-8 软件 设计 流程 图 
应 用 程序 ， 不 论 具 有 何 种 功能 ， 只 要 遵循 该 “总 
线 ”接口 标准 ， 都 能 直接 集成 到 系统 环境 中 ， 与 其 他 应 用 程序 进行 各 种 类 型 的 信息 交互 ， 
实现 数据 集成 和 模块 间 的 通信 。 所 以 总 的 来 讲 ， 软 件 总 线 支持 基于 网 络 的 任何 应 用 程序 
间 的 功能 共享 和 信息 交互 ， 交 互 的 内 容 可 以 是 用 户 定 义 的 任意 类 型 的 消息 。 软 件 总 线 是 
一 种 “ 即 插 即 用 ”的 集成 框架 ， 通 过 这 种 框架 可 以 大 大 降低 应 用 程序 之 间 和 构件 之 间 的 
耦合 度 。 

开放 式 软件 总 线 结构 的 开发 包括 以 下 两 个 步骤 : 构件 的 开发 和 构件 在 软件 总 线 上 的 集 
成 。 总 线 中 的 通信 模块 只 要 遵循 总 线 的 接口 标准 ， 任 何 构件 都 能 直接 集成 到 系统 环境 中 ， 此 
结构 充分 发 挥 软 构 件 “ 即 插 即 用 ”的 特性 ， 它 与 传统 的 软件 开发 方法 流程 对 比如 图 7-9 
所 示 。 

基于 软件 总 线 结构 与 传统 结构 的 对 比 ， 其 在 模块 间 的 功能 共享 、 可 扩展 性 、 总 体 性 能 
面 都 占有 优势 ， 更 适合 于 机 器 人 软件 交互 平台 。 因 此 ， 设 计 的 软件 平台 可 以 选择 总 线 式 体系 
结构 。 











































































































720 


传统 软件 开发 方法 


基于 总 线 结构 的 软件 开发 方法 


新 I 构建 分 析 与 获取 











图 





7. 2.2 ”模块 设计 划分 


综合 设计 与 分 析 











7-9 ”软件 总 线 结构 开发 比较 


我 们 所 设计 的 情感 机 器 人 应 能 同人 进行 生动 顺畅 的 语言 交流 ; 能 够 识别 不 同 的 交互 对 象 
及 人 类 的 表情 ; 拥有 丰富 的 面部 表情 、 语 调和 身体 姿态 ; 能 够 自主 移动 ; 具备 简单 的 情感 和 
心理 活动 ; 能 判断 测量 周围 物体 的 距离 ， 能 够 与 数字 家 庭 网 络 中 的 其 他 设备 (家 用 电器 ， 





家 庭 网 关 等 ) 进行 信息 交互 与 控制 。 


根据 上 述 特点 ， 可 将 情感 机 器 人 的 具体 功能 抽象 成 相应 的 程序 和 算法 来 实现 ， 见 表 


7-1。 


表 7-1 机 器 人 功能 软件 实现 

















HULARA DÍE 软件 技术 实现 
视觉 人 脸 识 别 
听觉 语音 识别 
触觉 红外 传 感 
语音 表达 语音 合成 
面部 表情 和 肢体 动作 行为 规则 库 、 串 口 通信 























情感 和 心理 活动 


情感 建 模 、 人 工 心理 算法 








在 软件 交互 平台 的 设计 中 采用 了 模块 化 的 设计 思想 。 
功能 的 程序 代码 封装 成 一 个 独立 的 模块 ， 再 将 这 些 相对 独立 的 功能 模块 集成 进 软件 平台 中 ， 
不 仅 使 程序 的 结构 清晰 、 接 口 简 单 ， 还 有 利于 以 后 加 入 新 的 功能 模块 ， 从 而 提高 了 系统 的 可 


扩展 性 。 具 体 功能 模块 设计 如 图 7- 10 所 示 。 

















网 络 信息 传输 、 远 程控 制 





根据 表 7-1 的 抽象 关系 ， 将 每 一 个 
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软件 交互 平台 








图 7-10 软件 功能 模块 设计 图 








软件 交互 平台 集成 了 语音 识别 、 语 音 合成 、 人 脸 识 别 、 表 情 识别 、 串 口 通信 、 网 络 控 
制 、 网 络 数据 传输 、 超 声波 感应 、 数 据 库 等 功能 。 这 些 模块 的 具体 功能 介绍 如 下 : 
语音 识别 功能 模块 : 实现 中 文 语音 的 识别 ， 可 以 通过 基于 内 容 的 语音 情感 识别 来 获取 情 


进行 特征 提取 和 识别 ， 确 定 人 脸 信 息 。 

表情 识别 功能 模块 : 识别 人 脸 的 表情 ， 确 定 人 脸 的 检测 区 域 ， 对 此 区 域 运用 光 流 法 等 算 
法 识别 表情 ， 可 作为 表情 交互 的 重要 通道 。 

串口 通信 模块 : 实现 上 下 位 机 通信 ， 向 下 位 机 发 送 控制 命令 ， 控 制 机 器 人 动作 并 获取 下 
位 机 的 传感器 反馈 信息 ， 对 机 器 人 的 动作 进行 在 线 纠 错 。 

多 传感器 融合 模块 : 本 模块 中 配置 四 种 传感器 ， 热 释 电 红外 传 感 咒 ， 声 源 点 位 传感器 ， 
超声 波 传感器 和 触摸 传感器 。 热 释 电 红外 传感器 主要 检测 是 否 有 人 到 来 ; 声 源 点 位 传感器 主 
要 用 于 检测 人 在 哪个 方位 与 机 器 人 进行 交谈 ， 以 便于 机 器 人 能 够 正面 面向 人 ; 超声 波 传感器 
主要 用 于 检测 人 与 机 器 人 的 距离 以 满足 机 带 人 三 原则 ; 触摸 传感器 主要 用 来 实现 机 器 人 与 人 
的 一 个 交互 手段 。 此 模块 通过 多 传感器 的 信息 采集 实现 机 器 人 对 外 部 世界 的 感知 。 

网 络 控制 及 传输 模块 : 通过 无 线 网 络 ， 机 器 人 能 够 与 数字 家 庭 中 的 其 他 在 线 设备 进行 交 
互 ; 传输 获取 其 他 设备 信息 ; 还 操 作 其 他 网 络 设备 ,在 网 络 环境 中 实现 自主 行为 (主动 与 
人 打招呼 ， 家 庭 安防 等 ) 。 

数据 库 及 行为 库 模 块 : 通过 模块 中 具体 的 行为 规则 和 情感 建 模 与 数据 库 进行 参照 和 匹 
配 ， 从 而 决策 交互 机 器 人 的 行为 。 


7. 2.3 ”人 机 交互 界面 设计 


目前 ， 智 能 机 器 人 大 都 为 交互 模式 ， 所 以 机 器 人 的 用 户 界面 又 称 为 人 机 交互 界面 (Hu- 
man Computer Interface ，HCI) ， 是 指 通过 计算 机 输入 、 输 出 设备 ， 以 有 效 的 方式 实现 人 与 机 
右 人 交互 的 技术 。 它 包括 机 器 人 通过 输出 或 显示 设备 给 人 提供 大 量 有 关 信 息 及 提示 请 示 等 ， 
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人 通过 输入 设备 给 机 器 人 输入 有 关 信 息 及 提示 请 示 ， 回 答 问题 等 。 人 机 交互 技术 是 计算 机 用 
户 界面 设计 中 的 重要 内 容 之 一 。 它 与 认 知 学 、 人 机 工程 学 、 心 理学 等 学 科 领 域 有 密切 的 
联系 。 

人 机 交互 界面 研究 已 经 历 了 两 个 界限 分 明 的 时 代 ， 第 一 代 是 以 文本 为 基础 的 交互 ， 如 菜 
单 、 命 令 、 对 话 等 ， 难 用 且 不 灵活 。 第 二 代 则 是 直接 操作 界面 ， 它 引出 更 自然 的 视觉 通信 交 
互 。 而 下 一 代 则 是 以 多 媒体 集成 方法 为 基础 的 交互 ， 多 媒体 人 机 交互 技术 是 多 媒体 技术 和 人 
机 交互 技术 的 结合 体 。 信 息 表示 和 输入 输出 设备 的 多 样 化 是 多 媒体 人 机 交互 技术 的 重要 内 
容 。 多 媒体 人 机 交互 基于 视线 跟踪 、 语 音 识 别 、 手 势 输 入 、 感 觉 反 馈 等 新 的 交互 技术 。 需 要 
大 量 使 用 语言 ， 自 然 语 言 和 高 级 图 形 ， 也 可 使 用 其 他 交互 媒体 ， 如 人 的 动作 、 手 势 和 三 维 图 
像 等 。 而 人 机 交互 界面 的 研究 已 超越 心理 学 ， 并 进入 到 社会 学 的 研究 领域 ， 界 面 技术 、 多 媒 
体 技术 以 及 通信 技术 ， 特 别 适 于 人 工 智 能 技术 。 

根据 对 智能 机 器 人 的 功能 划分 和 定位 ， 上 自然 和 谐 的 智能 人 机 界面 沟通 特征 应 该 包括 : 

1) 自然 沟通 : 能 看 ， 能 听 ， 能 说 ， 能 触摸 ; 

2) 主动 沟通 : 有 预期 ， 会 提问 ， 并 及 时 调整 ; 

3) 有 效 沟通 : 对 情境 的 变化 人 敏感， 理解 用 户 的 情绪 和 意图 ， 对 不 同 用 户 、 不 同 环境 、 
不 同 任务 给 予 不 同 反馈 和 支持 。 而 这 些 特征 在 很 大 程度 上 依赖 于 心理 科学 、 认 知 科学 和 计算 
机 科学 对 人 的 智能 和 情感 研究 所 取得 的 新 进展 。 为 使 机 器 人 具备 更 智能 的 人 机 交互 能 力 ， 我 
们 需要 知道 人 是 如 何 感 知 环境 的 ， 人 会 产生 怎样 的 情感 和 意图 ， 人 如 何 做 出 恰当 的 反应 ， 从 
而 帮助 计算 机 正确 感知 环境 ， 理 解 用 户 的 情感 和 意图 ， 并 做 出 合适 的 反应 。 因 此 ， 人 机 交互 
界面 的 “智能 ”不 仅 应 具有 高 的 认 知 智力 ， 也 应 具有 高 的 情绪 智力 ， 从 而 有 效 地 解决 人 机 
交互 中 的 情境 感知 问题 、 情 感 与 意图 的 产生 与 理解 问题 ， 以 及 反应 应 对 问题 。 以 语音 接口 为 
例 ， 具 有 警示 作用 的 语调 与 语 速 ， 对 吸引 使 用 者 的 注意 力 ， 有 相当 大 的 帮助 。 而 在 轻松 的 情 
境 下 ， 感 性 缓慢 的 语调 或 动画 接口 将 有 助 于 使 用 者 进入 舒缓 的 状态 。 

由 于 人 类 从 外 部 世界 接受 信息 的 80% 以 上 来 自视 觉 通 道 ， 用 户 界面 的 可 视 化 能 更 加 直 
接地 引起 人 们 的 注意 且 更 具 趣味 性 。 根 据 界 面 布局 的 科学 研究 ， 拥 挤 的 屏幕 让 人 难以 理解 ， 
因而 难以 使 用 。 屏 幕 总 体 覆 盖 度 让 人 看 上 去 ， 不 能 太 拥 挤 ， 也 不 能 太 松 散 。 除 了 总 体 设计 ， 
文字 和 控件 的 对 齐 方式 、 界 面 采用 的 分 辩 率 等 也 是 在 设计 界面 时 需要 注意 的 内 容 。 人 机 交互 
界面 设计 的 流程 如 图 7-11 所 示 。 






















































































































图 7-11 人 机 交互 界面 设计 流程 
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根据 人 们 习惯 的 阅读 浏览 方式 及 以 上 原则 ， 机 带 人 交互 平台 界面 设计 如 图 7-12 所 示 。 


菜单 设置 区 


对 话 提 示 文 本 显示 区 视频 显示 区 


SEERE 情感 交互 显示 区 





交互 平台 当前 状态 显示 区 


图 7-12 ”机 器 人 交互 平台 界面 设计 

















交互 平台 按照 功能 划分 为 

菜单 设置 区 : 供 操 作者 对 机 器 人 交互 平台 的 具体 功能 进行 配置 及 更 改 设置 。 

对 话 提 示 文 本 显示 区 : 用 于 提示 使 用 者 按照 显示 的 文本 (机 器 人 可 以 识别 的 语音 ) 和 
机 器 人 进行 对 话 交 流 网 络 中 的 在 线 设备 提供 服务 功能 。 

视频 显示 区 : 显示 机 器 人 采集 到 的 图 像 、 人 脸 识 别 及 表情 识别 信息 ， 并 按 帧 显示 在 该 区 
域 。 与 使 用 者 以 最 直观 的 方式 进行 交互 。 

网 络 交 互信 息 显 示 区 : 显示 数字 家 庭 网 络 中 设备 的 状态 信息 及 网 络 消息 等 。 

情感 交互 显示 区 : 显示 机 器 人 判断 出 的 使 用 者 当前 情感 状态 、 机 器 人 情感 状态 信息 、 及 
机 器 人 相应 行为 决策 。 

交互 平台 当前 状态 显示 区 : 


7.3 各 功能 模块 的 设计 
























































































































































} 示 机 器 人 当 前 各 通道 信息 采集 结果 。 
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7.3.1 语音 识别 模块 设计 


语音 交互 是 自然 和 谐 人 机 交互 的 基本 组 成 单元 。 语 音 交 互 主要 包括 语音 识别 与 合成 。 语 
音 识别 功能 的 实现 就 是 使 机 器 人 能 够 完成 “ 听 ” 的 功能 ， 即 从 声音 到 文本 的 转换 (Speech 
To Text, STT) 并 通过 模式 匹配 技术 和 数据 库 技 术 实现 对 语言 的 “理解 ”和 对 问题 的 “ 思 
考 ”。 语 音 合 成 则 是 实现 机 器 的 自然 语言 表达 功能 ， 即 从 文本 到 声音 的 转换 。 

语音 识别 技术 以 语言 为 研究 对 象 ， 涉 及 生理 学 、 语 言 学 、 计 算 机 及 信号 处 理 等 多 个 领 
域 ， 是 语言 信号 处 理 的 一 个 重要 研究 方向 。 典 型 的 语音 识别 系统 如 图 7-13 所 示 。 其 中 ， 预 
处 理 包 括 语音 信号 采样 ， 反 混 县 带 通 滤波 去 除 个 体 发 音 差异 和 设备 、 环 境 引起 的 噪声 影响 
等 ， 并 涉及 语音 识别 基 元 的 选取 和 端点 监测 问题 ; 特征 提取 部 分 用 于 提取 语音 中 反映 本 质 特 
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征 的 声学 参数 ， 如 平均 能 量 、 平 均 跨 零 率 、 共 振 峰 等 ; 训练 在 识别 前 进行 ， 通 过 让 讲话 者 说 
出 一 些 句子 ， 有 时 需 多 次 重复 某 些 语音 ， 从 原始 样本 中 去 除 宛 余 信 息 ， 保 留 关键 数据 ， 再 按 
照 一 定 规则 对 数据 加 以 聚 类 ， 形 成 语音 模式 库 ; 模式 匹配 部 分 是 整个 语音 识别 系统 的 核心 ， 
它 是 根据 一 定 的 准则 (如 某 种 距离 测度 ) 以 及 专家 知识 (如 构 词 规则 、 语 法 规则 、 语 义 规 
则 物 ， 计 算 输 入 特征 与 库存 模式 之 间 的 相似 度 (如 距离 匹配 、 似 然 概率 ) ， 判 断 出 输入 语音 


的 语义 信息 。 
失真 测度 
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预 加 重 器 
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构 词 规则 
同音 字 判 决 
语法 语义 
背景 知识 


图 7-13 语音 识别 系统 


目前 中 文 语音 识别 的 研制 和 开发 厂商 有 Speechworks Nuance, Philips, Microsoft, IBM, 
L&H, ，Infotalk 、 中 科 模 式 识别 、 天 度 、 得 意 音 通 、 安 可 尔 通 信 、 声 人 硕 科 技 等 。 衡 量 一 个 语音 
识别 系统 的 优 劣 的 标准 包括 : 

1) 对 说 话 者 的 依赖 程度 ， 是 否 能 识别 非特 定 人 的 说 话 。 

2) 识别 语音 的 类 型 ， 能 识别 孤立 词 的 、 断 续 的 、 还 是 连续 的 语音 。 

3) 系统 词汇 量 ， 是 小 词汇 量 、 中 词汇 量 还 是 大 词汇 量 。 

目前 识别 效果 比较 好 的 系统 是 : 中 科 模 式 识 别 的 Patter ASR 和 IBM 的 Viavoice。 

Viavoice 是 IBM 开发 的 语音 识别 引擎 ， 属 于 特定 人 的 识别 。 其 最 大 的 优势 在 于 可 以 连续 
识别 语音 。 在 使 用 Viavoice 之 前 ， 必 须要 对 其 进行 特定 人 的 口音 训练 ， 使 它 熟悉 用 户 的 说 话 
方式 ， 从 而 提高 识别 率 。IBM 的 Viavoice 软件 的 主要 功能 有 汉字 语音 输入 、 编 辑 、 打 印 等 ; 
语音 听写 功能 ; 语音 命令 功能 ; 其 内 核 的 接口 适用 于 多 种 变 成 环境 。 该 软件 针对 每 个 人 不 同 
的 噪音 和 说 话 特 征 ， 提 供 口 音 适 应 的 功能 。 它 可 以 支持 多 用 户 使 用 ， 只 要 每 个 用 户 都 在 自己 
的 用 户 名 下 进行 相应 的 语音 训练 就 可 以 了 。 

Pattek ASR 具有 易 用 性 强 ， 识 别 率 高 的 特点 。 用 户 无 需 进行 训练 ， 引 擎 的 设计 已 经 保证 
了 非特 定 人 这 一 重要 特点 ; API 提供 的 管理 工具 可 以 使 用 户 自如 地 定义 自身 所 需 的 词 表 和 语 
法 ， 便 于 进行 二 次 编程 开发 。 

因为 Pattek ASR 具有 非特 定 人 这 一 重要 特点 ， 以 及 其 在 应 用 中 具有 识别 率 高 易 开 发 等 
特点 ， 所 以 在 本 系统 中 选用 该 SDK 作为 语音 识别 引擎 。 


7.3.2 语音 合成 模块 设计 


语音 合成 技术 又 称 文 语 转换 技术 ， 即 TTS 技术 ， 是 指使 用 计算 机 把 文本 信息 转换 为 相 
应 文本 发 音 的 音频 数据 ， 然 后 播放 出 来 一 一 使 机 器 人 能 够 像 人 一 样 说 话 ， 这 在 情感 机 带 人 的 
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交互 功能 中 也 是 必需 的 。 文 本 分 析 和 语音 合成 是 TTS 系统 的 两 个 基本 步骤 : 前 者 从 文本 中 
提取 各 种 韵律 控制 信息 来 控制 后 者 的 合成 ,这些 鹊 律 信息 对 提高 合成 语音 的 自然 度 至 关 重 
要 ; 后 者 是 用 各 种 合成 信号 来 模拟 人 类 的 语音 。 语 音 合成 研究 的 目的 是 制造 一 种 会 说 话 的 机 
器 ， 使 其 存储 的 信息 能 转换 为 语音 ， 让 人 们 能 通过 听觉 方便 地 获得 。 现 在 语音 合成 已 经 广泛 
地 应 用 于 人 机 对 话 中 ， 它 也 是 第 五 代 智能 计算 机 的 重要 功能 之 一 。 当 前 ， 语 音 合成 的 研究 已 
经 进入 文字 一 语音 转换 阶段 ， 其 功能 模块 可 分 为 文本 分 析 、 韵 律 建 模 和 语音 合成 三 大 模块 。 
语音 合成 系统 的 流程 如 图 7-14 所 示 。 
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图 7-14 语音 合成 系统 流程 图 











目前 ， 中 文 语音 合成 的 研制 和 开发 的 厂商 有 捷 通 华声 、 炎 黄 新 星 、Infotalk、 科 大 讯 飞 、 
IBM. Microsoft 等 。 评 价 一 个 TTS 引擎 的 优 劣 ， 主 要 有 以 下 几 个 方面 : 合成 语音 的 自然 度 、 
合成 语音 的 表现 力 、 合 成 性 能 、 多 种 文 语 合 成 等 。 

Interphoine 语音 合成 系统 是 科大 讯 飞 面向 中 、 高 端 应 用 的 语音 合成 系统 ， 以 先进 的 大 语 
料 语音 合成 技术 和 语音 韵律 描述 体系 为 基础 ， 提 供 面 向 任意 文本 、 任 意 篇 章 的 连续 语音 合成 
功能 ， 合 成 音质 可 媲美 真人 发 音 。 目 前 ，Interphoinc 系列 产品 已 经 成 为 市 场 上 的 主流 语音 合 
成 系统 ， 在 各 个 行业 及 各 个 研究 领域 都 有 广泛 的 应 用 。 讯 飞 语音 合成 开发 包 (iFly TTS 
SDK) 是 在 讯 飞 语音 合成 系统 基础 上 ， 为 语音 合成 开发 者 提供 的 一 个 能 够 使 用 讯 飞 语音 合成 
技术 进行 应 用 开发 的 用 户 编程 接口 ， 可 以 实现 实时 的 语音 合成 。 其 还 具有 高 质量 的 文本 语音 
转换 效果 ， 采 用 了 大 语料库 合成 技术 、 超 大 规模 的 自然 语 流 数据 库 制作 技术 ， 并 以 此 作为 数 
据 统计 和 机 器 学 习 的 训练 数据 ; 依据 语言 学 、 语 音 学 、 人 工 智能 知识 基础 ， 利 用 机 器 学 习 中 
的 决策 树 、 神 经 网 络 系统 分 别 建立 了 较为 完善 的 基 频 、 时 长 、 能 量 、 停 顿 模型 并 且 在 中 文 合 
成 的 自然 度 、 可 懂 度 、 音 质 等 主要 指标 上 均 名 列 前 茅 ， 是 国内 电信 级 应 用 最 多 的 一 个 TTS 
产品 。 

以 上 所 说 的 语音 合成 的 方法 都 是 以 软件 的 形式 ， 据 我 们 所 了 解 ，TTS 产品 的 硬件 形式 也 
很 多 ， 最 常见 的 就 是 科大 讯 飞 的 语音 合成 芯片 XF- S4240， 这 款 芯 片 语音 合成 功能 稳定 ， 接 
口 简单 ， 而 且 与 计算 机 相 接 方便 。 我 们 将 XF- S4240 与 软件 形式 的 开发 包 (Fly TTS SDK) 
进行 了 下 对 比 ， 发 现 使 用 硬件 合成 时 候 语 音 识别 的 准确 率 要 远 远 高 于 使 用 软件 包 合 成 。 因 
此 ， 本 软件 平台 采用 的 是 硬件 合成 语音 方式 。 


7.3.3 人 脸 识 别 模 块 设计 


人 脸 识 别 是 利用 计算 机 分 析 人 脸 图 像 ， 用 来 辨认 身份 的 一 门 技 术 ， 它 涉及 模式 识别 、 图 
像 处 理 、 计 算 机 视觉 、 生 理学 、 心 理学 及 认 知 学 等 诸多 学 科 的 知识 ， 并 与 基于 其 他 生物 特征 
的 身份 鉴别 方法 以 及 计算 机 人 机 感知 交互 领域 都 有 密切 的 联系 。 

人 脸 识别 方法 的 效果 如 何 ， 主 要 决定 于 它 在 多 大 程度 上 利用 和 保留 了 图 像 的 原始 信息 。 
我 们 在 看 一 个 人 的 时 候 ， 可 以 明显 地 观察 到 他 面部 的 各 个 带 官 和 脸庞 。 因 此 ， 我 们 可 以 利用 
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一 组 数值 特征 来 描述 各 个 需 官 包括 脸庞 ， 并 且 利用 这 种 数值 特征 数据 来 对 人 脸 进 行 识别 。 但 
是 模式 识别 研究 的 经 验 表明 ， 简 单 地 利用 一 组 数值 特征 不 能 很 好 地 解决 人 脸 的 识别 问题 。 由 
于 视觉 识别 人 脸 的 机 制 十 分 微妙 ， 人 们 对 此 的 认识 还 非常 肤浅 。 因 此 ， 人 脸 应 当 作 为 一 个 整 
体 来 描述 ， 不 仅仅 包括 各 个 器 官 的 数值 特征 ， 还 应 当 包 括 各 个 器 官 的 不 同 表 象 和 相互 关联 。 
对 于 已 检测 出 的 人 脸 图 像 ， 自 动 识别 系统 将 它 与 数据 库 中 的 已 知人 脸 进 行 比较 匹配 ， 得 出 识 
别 结果 。 这 部 分 工作 由 人 脸 识别 算法 来 完成 。 对 于 自动 人 脸 识 别 系 统 ， 一 个 对 环境 适应 性 强 
且 识 别 率 高 的 算法 是 整个 系统 的 关键 。 在 本 文 的 系统 中 ， 人 脸 识别 部 分 采用 了 一 种 较为 成 
熟 的 人 脸 识 别 方法 一 一 基于 隐 马 尔 可 夫 模 型 (Hidden Markov Model, HMM) 的 人 脸 识别 方 
法 。 它 为 描述 不 同 表象 和 相互 关联 的 人 脸 识 别提 供 了 解决 方案 。 

近 几 年 来 ， 基 于 AMM 的 人 脸 识别 已 经 取得 了 较 大 的 进展 。 它 们 所 采用 的 系统 结构 大 致 
相同 。 本 文 所 设计 的 HMM 人 脸 识别 基本 框架 如 图 7-15 所 示 。 


已 知人 脸 图 像 
待 识别 人 脸 图 像 
特征 提取 


图 7-15 HMM 人 脸 识 别 基本 框架 




















人 脸 特 征 数据 库 












识别 结果 





从 上 图 可 以 看 出 ， 本 交互 平台 的 人 脸 识 别 系统 要 经 过 训练 和 识别 两 个 部 分 。 训 练 就 是 
HMM 建 模 的 过 程 ， 如 图 7- 16 所 示 。 根 据 一 定 的 参数 重 估算 法 ， 不 断 
调整 模型 参数 ， 得 到 和 鲁 棒 性 较 好 的 模型 。 通 过 对 基本 模型 的 改进 和 优 
化 ， 提 高 模型 的 精确 度 ， 以 达到 较 好 的 识别 效果 。 人 脸 隐 马 尔 可 夫 模 
型 的 训练 就 是 要 为 每 一 个 人 确定 一 组 经 过 优化 了 的 HMM 参数 。 每 个 








模型 可 以 用 单 幅 或 多 幅 图 像 进行 训练 。 HMM 参 数 
人 脸 图 像 采 样 生成 观察 值 序列 ， 这 些 观察 值 序列 就 用 来 训练 出 人 初始 化 


脸 的 模型。 

人 脸 训练 的 算法 如 下 : 

1) 将 要 训练 的 人 脸 图 像 进行 统一 分 割 ， 按 照 DCT 算法 提取 出 人 
允 特 征 相 联系 的 观察 值 序列 0,，1 <is7。 




















2) 建立 一 个 通用 的 HMM 模型 y = (4，B，7)， 确定 模 型 的 状态 Ea 

数 ， 人 允许 的 状态 转移 和 观测 序列 向 量 的 大 小 。 算法 
3) 迭代 计算 初始 HMM 参数 。 首 先 ， 图 像 被 统一 分 割 ， 每 部 分 对 AT 

应 HMM 的 一 个 状态 。 然 后 ， 上 述 的 分 割 数据 被 Viterbi 分 割 代 替 。 这 算法 





一 过 程 输出 的 是 一 个 初始 HMM 模型 ， 用 作 下 一 步 重 估 HMM 参数 的 
输入 。 

4) 使 用 Baum- Welch 方法 对 HMM 模型 参数 进行 重 估 。 隐 马尔 可 
夫 模型 的 各 个 参数 在 这 个 步 又 中 进行 重新 估计 ， 得 到 一 个 新 的 y = 
(A, B, 7+)。 然 后 利用 前 向 -后 向 算法 或 者 Viterbi 算法 计算 出 观察 值 图 7-16 HMM 训练 
序列 0 在 这 个 模型 下 的 P(O1y)。 为 了 估计 出 最 接近 于 观察 值 序 列 0 建 模 过 程 
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的 模型 ， 设 定 门限 值 C， 当 时 |P(0|y) -P(Oly)1<C 时 (此 时 已 (收敛 ) ， 即 得 到 训练 出 
的 隐 马 尔 可 夫 模 型 ， 否 则 令 yay’, BAIR, BBP (收敛 )， 得 到 最 接近 于 观察 值 序 
列 的 隐 马 尔 可 夫 。 根 据 训 练 图 像 的 观察 向 量 ，HMM 参数 将 会 被 调整 到 一 个 局 部 极 大 值 。 这 
个 过 程 的 输出 即 为 数据 库 中 人 脸 图 像 最 终 的 HMM 模型 。 

在 训练 好 车 干 人 脸 的 隐 马 尔 可 夫 模 型 (HMM) ， 即 建 好 人 脸 数据 库 后 ,才能 进行 人 脸 的 
识别 。 识 别 就 是 根据 已 经 建立 好 的 人 脸 HMM 模型 库 ， 使 用 某 种 搜索 算法 搜索 最 佳 匹配 的 
过 程 。 

识别 的 过 程 如 下 : 

1) 首先 要 对 识别 的 人 脸 图 像 进行 采样 ， 形 成 观察 向 量 序列 。 

2) 然后 计算 此 人 脸 的 观察 向 量 序列 与 人 脸 数 据 库 中 各 人 脸 的 隐 马 尔 可 夫 模 型 的 最 大 似 
然 概率 P(0% |y,)。 最 大 似 然 概率 PCO” |y,) 的 计算 可 以 通过 前 向 -后 向 算法 或 者 Viterbi 
算法 得 出 。 

3) 最 大 似 然 概率 反映 了 待 识 人 脸 观察 向 量 序列 与 数据 库 中 的 人 脸 隐 马尔 可 夫 模 型 的 相 
似 程度 。 计 算出 每 一 个 训练 模型 产生 该 序列 的 最 大 似 然 概率 ， 最 大 值 的 模型 即 为 待 识 别人 脸 
所 属 的 类 ， 可 以 用 公式 表达 为 

P(O® |y,) =max,P(0® |y,) (7-1) 

如 果 第 m 个 模型 y, 产生 序列 0 的 最 大 似 然 概 率 值 取 最 大 值 ， 则 将 图 像 k HAE m 

类 。 人 脸 识 别 的 流程 图 如 图 7-17 所 示 。 














模型 1 


Viterbi 算 法 





计算 似 然 概 率 
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识别 结果 


计算 似 然 概率 


模型 m 








Viterbi 算 法 





计算 似 然 概率 


图 7-17 人 脸 识别 流程 图 


根据 隐 马 尔 可 夫人 脸 识别 算法 的 特点 和 步 又 ， 机 器 人 交互 平台 选择 以 OpenCV 库 为 基础 
进行 开发 。 

根据 算法 ， 同 时 利用 OpenCV 所 提供 的 功能 函数 ， 将 人 脸 识 别 模块 的 功能 实现 ， 并 封 汛 
在 DLL 库 中 ， 这样 此 功能 模块 不 仅 能 实现 平台 的 通用 性 ， 而 且 便 于 进行 集成 。 
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7.3.4 动作 行为 模块 设计 


对 于 情感 机 器 人 的 研制 与 开发 ， 我 们 不 仅 要 求 其 能 够 模拟 人 的 视觉 、 听 觉 、 语 言 表达 等 
能 力 ， 还 要 求 其 在 外 表 上 也 能 够 拟人 化 ， 同 时 能 够 模仿 人 类 的 面部 表情 和 肢体 动作 ， 即 情感 
机 器 人 应 具备 类 似 人 类 的 动作 行为 模式 。 设 计 智 能 情感 机 器 人 行为 的 基础 在 于 其 能 够 模仿 人 
类 的 外 形 ， 本 章 所 开发 的 交互 平台 是 由 北京 科技 大 学 王 志 良 教授 带领 的 机 器 人 人 研究 实验 室 自 
主 制作 的 仿 人 机 器 人 。 根 据 各 情感 机 器 人 具体 功能 和 目的 的 不 同 ， 实 验 室 所 研发 制作 的 情感 
机 器 人 的 外 形 如 图 7-18 所 示 。 


-一 一 








7-18 实验 室 自主 研发 制作 的 智能 机 器 人 外 
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身体 语言 ， 是 指 经 由 身体 的 各 种 动作 ， 代 替 语言 以 达到 表情 达意 的 沟通 目的 。 身 体 语言 
包括 身体 与 四 肢 所 表达 的 手势 、 姿 势 和 面部 表情 。 
身体 语言 比 语言 本 身 更 容易 暴露 出 真实 的 自己 。 
心理 学 家 认为 :情感 表达 =7% 语言 + 38% 声 音 + 
55% 身体 语言 。 可 见 人 的 身体 语言 在 人 与 人 的 交流 
中 发 挥 着 重要 作用 。 — 

为 实现 复杂 的 动作 行为 模式 ， 更 加 细腻 的 表 | 
达 情 感 ， 将 情感 机 器 人 硬件 结构 分 为 脸 部 、 颈 部 、 
肢体 和 底盘 四 个 行为 模块 ， 分 别 使 用 四 个 处 理 器 
独立 控制 。 这 样 可 以 方便 地 完成 动作 组 合 和 动作 
序列 的 模块 化 。 动 作 组 合 在 上 位 机 上 完成 。 行 为 
模式 设计 平台 是 由 北京 科技 大 学 王 志 良 教授 带领 
的 机 器 人 研究 实验 室 自 主 研发 制作 的 机 器 人 硬件 
结构 。 

机 器 人 上 身 肢体 结构 如 图 7-19 所 示 。 

机 器 人 脸 部 及 头 部 结构 如 图 7-20 所 示 。 





O 














图 7-19 ”机 器 人 上 身 肢 体 结构 
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图 7-20 脸 部 及 头 部 结构 
a) 头 部 结构 b) 眼 部 结构 


可 交互 的 情感 机 器 人 将 不 同 硬件 模块 的 独立 动作 集成 为 一 套 完整 的 行为 来 模仿 人 类 。 


将 情感 机 器 人 的 动作 行为 按 


四 个 行为 模块 进行 分 类 ， 见 表 7-2。 


表 7-2 情感 机 器 人 动作 行为 模块 划分 



























































动作 行为 脸 部 动作 头 部 动作 肢体 动作 底盘 动作 
招手 0 0 1 0 
鼓掌 0 0 1 0 
握手 0 0 1 0 
晃动 拳头 0 0 1 0 
摆手 0 0 1 0 
AE 1 0 0 0 
皱眉 1 0 0 0 
HIR 1 0 0 0 
洲 眼 1 0 0 0 
微笑 1 0 0 0 
张嘴 1 0 0 0 
报 嘴 1 0 0 0 
a 1 0 0 0 
仰 头 0 1 0 0 
低头 0 1 0 0 
摇头 0 1 0 0 
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( 续 ) 

动作 行为 脸 部 动作 头 部 动作 肢体 动作 底盘 动作 
点 头 0 1 0 0 
前 进 0 0 0 1 
后 退 0 0 0 1 
左 转 0 0 0 1 
右 转 0 0 0 1 














上 表 是 四 个 行为 模块 的 划分 ， 以 及 行为 动作 对 应 的 情感 机 器 人 能 机 运行 情况 ，! 代表 
Æ, 0 ARF, 
为 使 情感 机 器 人 具有 更 自然 的 行为 动作 ， 对 不 同 模块 以 及 不 同 部 位 的 动作 进行 分 析 ， 四 
个 行为 模块 中 相应 的 功能 器 官 设 计 应 具备 的 自由 度数 量 见 表 7-3。 
表 7-3 情感 机 器 人 行为 模块 自由 度 设计 












































行为 模块 功能 器 官 自由 度数 量 

眼睛 6 

脸 部 眉毛 2 
嘴 3 

颈 部 颈 2 
肢体 了 

上 身躯 干 3 

底盘 移动 轮 盘 2 











机 器 人 整体 架构 采用 上 下 位 机 的 分 布 式 结构 。 上 位 机 为 艇 入 式 PC BL, PC 机 包含 各 通 
用 接口 ， 操 作 系 统 选用 Windows XP。 软 件 平台 、 数 据 库 ， 知 识 库 及 各 硬件 输入 输出 设备 的 
驱动 都 安装 于 该 操作 系统 中 。 下 位 机 由 单片机 控制 位 于 各 器 官 模块 的 能 机 来 实现 机 器 人 的 行 
为 动作 。 

上 下 位 机 (上 位 机 中 的 PC 机 与 下 位 机 中 的 单片机 ) 通过 无 线 发 射 盒 进行 通信 。 此 系统 
的 无 线 模块 采用 了 市 场 上 的 ASK 无 线 数 传 模块 。 这 种 模块 全 部 采用 SMT 巾 片 组 装 ， 体积 
小 ， 可 靠 性 高 ， 可 以 长 时 间 连 续 发 送 和 接收 。 而 且 它 的 频率 源 采 用 高 稳定 度 晶体 振 荡 加 PLL 
电路 构成 ， 频 率 稳定 度 高 ， 抗 干扰 能 力 强 。 另 外 ， 数 据 信 号 可 以 透明 传输 。 将 其 安装 于 通信 
式 PC 上 ， 选 用 串口 连接 无 线 发 射 盒 。 

经 过 近 几 年 的 使 用 和 发 展 ， 在 RS232 标准 的 基础 上 不 断 进行 改进 ， 使 得 PC 串 行 通信 接 
口 标准 日 益 多 样 化 。RS232C 标准 公布 于 1909 年 ， 是 由 美国 EIA (电子 工业 联合 会 ) 与 
BELL 等 公司 联合 开发 的 通信 协议 。RS232C 标准 (协议 ) 的 全 称 是 EIA- RS-232C 标准 ， 其 
中 EIA (Electronic Industry Association) 代表 美国 电子 工业 协会 ，RS (Recommended stand- 
ard) 代表 推荐 标准 ，232 是 标识 号 ，C 代表 RS232 的 最 新 一 次 修改 (1969) 。 整 个 通信 系统 
的 结构 设计 为 主 从 式 串 行 总 线形 。RS232C 标准 最 初 是 为 远程 通信 连接 数据 终端 设备 (Data 
Terminal Equipment，DTE ) 与 数据 通信 设备 (Data Communication Equipment，DCE) 而 制定 的 ， 
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RS232 接口 


因而 ， 它 的 电 平 与 TTL 电 平 之 间 需 要 转换 。 通 信 结 构 如 图 7-21 所 示 。 


上 位 机 下 位 机 
PC 单片机 
传感器 检测 


图 7-21 上 下 位 机 通信 结构 图 

在 标准 串口 通信 方面 ，VC + + 提供 了 具有 强大 功能 的 串口 编程 控件 MSComm。MSComm 
控件 可 设置 串 行 通信 的 数据 发 送 和 接收 ， 对 串口 状态 及 串口 通信 的 信息 格式 和 协议 进行 设 
置 。 在 PC 机 和 单片机 的 通信 中 ， 确 定 一 个 明确 而 合理 的 通信 协议 是 关键 。 现 今 流行 的 通信 
协议 应 该 对 数据 格式 、 通 信 方 式 、 传 送 速度 、 传 送 步 又 、 检 纠 错 方式 以 及 控制 字符 定义 等 问 
题 做 出 统一 规定 。 

情感 机 器 人 下 位 机 的 四 个 行为 模块 分 别 对 应 于 四 个 独立 的 单片机 ， 为 了 区 别 不 同 的 单 乒 
机 ， 必 须 为 每 个 分 机 分 配 一 个 唯一 的 地 址 ， 此 地 址 唯一 区 别 各 单片机 。 并 且 规 定 一 特殊 符号 
标志 为 广播 方式 。 数 据 格式 采用 数据 包 的 形式 ， 一 次 传输 一 组 数据 。 数 据 包 格式 设计 如 下 
所 示 : 


















































7.3.5 网 络 功能 模块 设计 


情感 机 器 人 的 智能 性 是 离 不 开 网 络 的 ,我 们 在 追求 人 机 和 谐 交 互 的 同时 ， 更 希望 情 
感 机 需 人 能 够 智能 的 为 人 类 及 其 家 庭 服务 。 目 前 我 们 所 研究 的 情感 机 咒 人 主要 服务 于 
家 庭 ， 因 此 情感 机 器 人 的 网 络 功能 主要 基于 GRS 协议 来 实现 。 下 面 简单 介绍 一 下 IGRS 
协议 。 

闪 联 (Intelligent Grouping Resource Sharing, IGRS) 是 一 种 技术 体系 标准 ， 致 力 于 打破 
“信息 孤岛 "解决 各 种 信息 终端 设备 的 互联 互通 、 资 源 共 享 和 协同 工作 的 问题 。 

闪 联 是 多 个 信息 终端 依据 一 定 的 标准 在 有 限 范围 内 动态 组 网 ， 以 实现 智能 互联 、 资 源 共 
享 和 协同 服务 的 应 用 模式 技术 理论 为 基础 。 通 过 调用 内 联 基础 应 用 、 闪 联 智能 应 用 框架 、 闪 
联 基 础 协议 所 提供 的 接口 来 实现 更 为 复杂 、 功 能 更 强 的 应 用 。 

协同 服务 是 指 在 智能 互联 、 资 源 共 享 的 基础 上 ， 在 一 定 范 围 内 通过 应 用 和 资源 的 优化 组 
合 ， 相 互 协作 ， 充 分 发 挥 并 释放 网 络 的 能 量 ， 从 而 在 个 人 、 企 业 、 社 会 三 个 层面 产生 新 的 应 
用 形式 ， 并 更 好 地 服务 于 个 人 、 企 业 和 社会 。 协 同 服务 是 关联 应 用 的 目的 ， 是 智能 互联 、 资 
源 共享 的 落脚 点 。 

为 了 在 软件 平台 上 实现 该 协议 ， 我 们 将 该 协议 封装 在 DLL 库 中 ， 向 外 部 提供 API 接口 
HE IGRS 协议 栈 的 应 用 开发 者 调用 。 
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7.4 软件 平台 的 实现 


7.4.1 总 体 架 构 与 模块 化 编程 


1. 软件 平台 总 线 式 架构 

软件 总 线 技术 是 一 种 新 的 信息 集成 化 技术 。 软 件 总 线 起 到 类 似 于 计算 机 系统 硬件 总 线 的 
作用 ， 只 要 将 应 用 模块 按 总 线 规范 做 成 软 插件 ， 通 过 规范 的 接口 函数 择 入 总 线 即 可 实现 集成 
运行 。 

根据 软件 平台 的 总 体 需求 分 析 和 模块 划分 ， 情 感 机 器 人 的 各 部 件 运 行 关联 由 信息 来 建 
立 ， 而 不 是 通过 功能 来 建立 ， 因 此 应 用 软件 总 线 技术 进行 具体 的 编程 ， 系 统 功 能 可 以 保持 彼 
此 相对 的 独立 性 。 情 感 机 器 人 交互 软件 平台 总 线 式 编程 结构 如 图 7-22 所 示 。 


语音 识别 线程 
语音 合成 线程 
语音 心理 分 析 线 程 


人 脸 识 别 线程 神经 网 络 
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行为 规则 线程 
网 络 控制 线程 
串口 发 送 线程 


图 7-22 ”情感 机 器 人 交互 软件 平台 总 线 式 编程 结构 











软件 平台 监控 总 线程 是 整个 系统 的 核心 ， 它 就 像 一 部 自动 程控 交换 机 ， 系 统 的 各 个 功能 
就 像 一 部 部 程控 电话 机 ， 而 集成 于 平台 的 各 具体 功能 模块 则 用 来 建立 各 功能 与 系统 、 功 能 与 
功能 之 间 的 信息 关联 。 

使 用 这 种 技术 编程 的 优势 在 于 系统 的 存在 不 依赖 于 任何 功能 组 件 ， 所 有 功能 组 件 也 不 依 
赖 于 其 他 功能 的 存在 ， 只 是 通过 通用 接口 与 总 线程 形成 关联 ， 最 大 程度 上 实现 了 各 功能 模块 
之 间 的 独立 。 软 件 平台 提供 这 样 的 通用 接口 ， 它 集成 了 与 各 个 主流 数据 库 的 接口 ， 以 及 各 功 
能 模块 ， 回 调 函 数 ， 网 络 服务 的 接口 。 不 同 的 组 件 实 现 不 同 的 功能 ， 其 功能 实现 只 依赖 于 数 
据 ， 而 不 依赖 于 其 他 功能 ， 组 件 可 以 单独 开发 然后 戏 和 软件 集成 平台 。 

2. 软件 平台 模块 化 编程 实现 

伴随 计算 机 技术 和 机 器 人 技术 的 飞速 发 展 ， 越 来 越 多 的 软件 技术 和 硬件 交互 设备 应 用 于 
机 喜人 交互 平台 中 ， 交 互 效果 更 好 的 模块 替代 老 的 功能 模块 的 现象 也 层出不穷 ， 这 就 要 求 软 
件 交 互 平台 有 方便 的 可 扩展 性 和 可 替换 性 。 因 此 软件 平台 模块 化 编程 的 重要 性 也 与 日 俱 增 。 
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情感 机 器 人 交互 平台 集成 了 多 种 功能 ， 并 且 随 着 传 感 顺 、 网 络 技术 的 发 展 以 及 人 们 对 于 
智能 机 器 人 要 求 的 提高 ， 情 感 机 老人 平台 
会 集成 越 来 越 多 的 功能 。 为 了 便于 在 平台 
中 集成 新 的 功能 并 替换 旧 的 功能 ， 我 们 在 
设计 软件 平台 的 时 候 ， 按 照 功能 把 平台 进 
行 模 块 化 划分 ， 各 个 功能 模块 分 别 设计 出 


ns 主 控 平台 
与 平台 间 的 消息 交互 接口 ， 主 控制 平台 负 
责 监 视 各 个 模块 的 消息 交互 接口 是 否 有 交 


互信 息 提 交 。 如 图 7-23 所 示 。 

当 软 件 平台 需要 加 入 新 功能 时 ,我们 
只 需 把 新 的 功能 处 理 程序 做 成 动态 链接 库 ， 按照 规定 留 出 该 动态 库 与 主 控制 平台 的 消息 交互 
接口 ,平台 只 需 在 处 理 规则 库 中 加 入 对 该 功能 模块 交互 消息 的 处 理 规则 ， 蔡 换 老 的 模块 时 操 
作 与 此 相似 。 因 此 只 需 修 改 少量 的 平台 代码 ， 即 可 在 平台 中 加 入 新 的 功能 。 大 大 提高 了 程序 
的 扩展 性 和 蔡 换 性 。 

平台 集成 的 各 个 功能 模块 (Module Name) 与 平台 主线 程 进行 交互 的 接口 采用 规范 化 的 
iit, 不同 的 模块 具体 的 接口 会 有 所 不 同 ,但 主要 的 交互 功能 都 可 以 用 下 面 这 四 个 接口 来 
完成 : 

初始 化 该 模块 ， 包 括 申请 内 存 ， 调 用 系统 资源 ， 初 始 化 设备 等 。 

对 该 模块 进行 逆 初 始 化 操作 ， 包 括 释放 内 存 ， 释 放 系 统 资源 ， 关 闭 设备 等 操作 。 

功能 模块 通过 接口 从 平台 中 获得 所 要 的 数据 信息 ,不 同 的 模块 所 获得 的 信息 会 有 所 
不 同 。 

接口 为 模块 向 平台 传送 数据 ， 一 般 为 交互 信息 数据 。 

3. 人 机 交互 界面 的 实现 

图 7-24 所 示 为 北京 科技 大 学 设计 的 软件 集成 平台 界面 ， 主 要 包括 登录 选项 ， 串 口 设 置 ， 
语音 设置 ， 图 像 设 置 ， 动 作 表 演 ， 注 册 人 脸 ， 退 出 等 菜单 。 其 中 登录 选项 主要 是 确定 用 户 是 
否 为 管理 员 身 份 ， 串口 设置 主要 是 用 来 设置 串口 的 ID 号 ， 波 特 率 ， 停 止 位 以 及 奇偶 校 验 位 ; 
语音 设置 主要 是 用 来 设置 语音 声音 信息 的 大 小 ; 动作 表演 主要 用 于 情感 机 带 人 动作 表演 的 调 
试 使 用 ; 注册 人 脸 主 要 实现 将 用 户 的 人 脸 信息 写 人 数据 库 ， 以 保证 能 够 识别 用 户 ; 退出 主要 
是 用 于 用 户 退 出 系统 ， 以 上 是 对 交互 界面 主要 功能 的 介绍 。 


7.4.2 各 个 功能 模块 的 具体 实现 


1. 语音 识别 模块 实现 

情感 机 器 人 语音 识别 模块 选择 Pattek ASR SDK 在 Visual C ++ 6.0 环境 下 进行 开发 。 
Pattek ASR SDK 提供 动态 链接 库 以 及 C ++ 头 文件 : ASRAPI h: 头 文件 ， 提 供 所 有 函数 原 
型 以 及 参数 定义 等 ; asrapi. lib: 静态 链接 库 ; asrapi. dl: 动态 链接 库 。 语 音 识 别 流程 如 
图 7-25 所 示 。 

2. 语音 合成 模块 实现 

经 过 对 多 家 语音 合成 开发 包 以 及 硬件 合成 芯片 进行 对 比 ， 发 现 采用 硬件 合成 芯片 语音 识 
别 模块 运行 比较 稳定 ， 且 识别 效率 比较 高 。 最 后 对 多 家 硬件 合成 芯片 进行 对 比 ， 认 为 科大 讯 





外 围 交互 接口 















模块 与 平台 接口 











图 7-23 ”软件 交互 平台 模块 化 结构 
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飞 的 XF—S4240 与 电脑 连接 和 通信 实现 起 来 比较 简单 方便 ， 因 此 选用 该 
语音 合成 模块 。 


芯片 作为 本 平台 的 


初始 化 





调用 回调 函数 




















图 7-24 人 机 交互 界面 实现 图 7-25 语音 识别 流程 区 











XF- S4240 中 文 语音 合成 模块 ， 是 安徽 中 科大 讯 飞信 息 科 技 有 限 公司 (科大 讯 飞 ) 推出 
的 基于 科大 讯 飞 在 般 入 式 中 文 语音 合成 领域 的 最 新 研究 成 果 InterSound4. 0 中 文 语音 合成 
系统 ， 而 设计 的 一 款 中 文 语音 合成 模块 。 该 模块 可 以 通过 异步 串口 (UART), 、SPI 接口 及 
PC 总 线 三 种 方式 接收 待 合成 的 文本 ， 直 接合 成 为 语音 输出 ; 主要 面向 中 高 端 应 用 ， 为 其 提 
供 一 套 完整 的 音 解决 方案 。 

该 模块 可 合成 任意 的 中 文 文本 ， 支 持 英 文字 母 的 合成 ,支持 GB2312, GBK, BIG5, 
UNICODE 四 种 内 码 格式 的 文本 ; 具有 智能 的 文本 分 析 处 理 算 法 ， 可 正确 识别 和 处 理 数 值 、 
号 码 、 时 间 日 期 及 一 些 常用 的 度量 符号 ， 具 备 多 音字 处 理 和 中 文 姓氏 处 理 能 

计算 机 和 芯片 的 通信 方式 采用 的 串口 通信 ， 其 连接 电路 如 图 7-26 所 示 。 

3. 语音 交互 模块 实现 

仅 有 语音 识别 和 语音 合成 模块 并 不 能 实现 真正 的 语音 交互 功能 。 交 互 的 关键 在 于 如 何 将 
识别 和 合成 模块 进行 衔接 ， 使 其 能 够 平 请 的 进行 交互 。 而 本 软件 平台 使 用 的 交互 模块 很 好 的 
实现 了 这 方面 的 功能 。 语 音 交 互 流程 如 图 7-27 所 示 。 

语音 交互 模块 介 于 语音 识别 、 语 音 合成 模块 和 知识 数据 库 之 间 。 对 语音 识别 结果 进行 关 
键 词 模糊 查询 再 将 结果 转换 为 知识 库 匹 配 的 格式 。 再 通过 交互 模块 的 查询 函数 对 数据 库 进 行 
查找 和 调用 ， 最 终 将 结果 发 送 给 语音 合成 模块 进行 音频 输出 。 
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图 7-26 连接 电路 图 























我 们 通过 Windows 的 消息 机 制 来 触发 事件 。 机 右 人 情感 交互 的 流程 如 图 7-28 所 示 。 


ON_MESSAGE(UM_VOIC_INFO,VoiRecolf) 








查询 
insta 












ON_MESSAGE(UM_SENS_INFO,SenRecolf) 








ON_MESSAGE(UM PIC_INFO,PicRecolf) 


图 7-28 情感 交互 流 


Ri 


4. 动作 行为 模块 实现 

机 器 人 交互 软件 平台 通过 PC 机 的 RS232 串口 与 下 位 机 中 的 单片机 实现 通信 。 本 软件 平 
台 通 过 VC ++ 的 Mscomm 控件 编程 来 实现 上 位 机 PC 同时 向 四 个 硬件 设备 发 送 数据 ， 硬 件 设 
备 均 接收 数据 到 缓冲 区 ， 根 据 ID 号 匹配 情况 来 决定 这 帧 数据 的 取舍 。 下 位 机 通 oe 
口 编程 实现 向 上 位 机 反馈 信息 和 发 送 传感器 信息 。 上 位 机 通过 串口 向 下 位 机 发 送 控制 指令 
流程 如 图 7-29 所 示 。 在 通信 过 程 中 采用 事件 驱动 方式 来 处 理 通 信 ， 用 OnComm sh 
处 理 通信 事件 ， 还 可 以 检查 和 处 理 通 信和 错误 ， 具 有 程序 响应 及 时 ， 可 靠 性 高 的 特点 ， 适 合用 
于 机 器 人 控制 。 
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5. 人 脸 识别 模块 实现 

(1) 算法 实现 

本 交互 平台 采用 Windows 的 VFW 库 以 及 OpenCV 作 串口 初始 化 
为 开发 工具 ， 对 于 摄像 头 采 集 的 彩色 图 像 ， 包 含 复杂 的 E 
背景 ， 利 用 VFW 库 将 人 脸 检测 出 来 ， 对 检测 出 的 结果 利 
用 OpenCV 进行 二 次 处 理 ， 创 新 性 的 运用 隐 马 尔 可 夫 算 法 
实现 最 终 的 人 脸 识别 。 

我 们 采用 YC, Cr 颜色 模型 。 对 输入 彩色 图 像 进行 颜色 
空间 转换 ， 将 其 从 相关 性 较 高 的 RGB 空间 转换 到 颜色 分 量 
互 不 相关 的 Y/Cb/Cr 颜色 空间 。 转 换 公 式 如 式 (7-2) 















5 SFR 






接受 数据 
至 缓存 区 





所 示 。 
Y 0.2989 0.5866 0.1145 TR 
C, |=| 0.5000 -0.4184 -0.0817 || G (1-2) 
C, -0.1688 -0.3312 0.5000 || B 




















为 检测 场景 中 的 人 脸 区 域 ， 建 立 一 个 有 效 的 肤色 模 
型 是 非常 重要 的 。 统 计 方 法 是 一 种 常用 的 工具 。 在 此 ， 
用 一 个 随机 变量 表示 像素 值 的 变化 。 该 随机 变量 的 概率 图 7-29 串口 发 送 指令 流程 图 
密度 函数 具有 特定 的 统计 分 布 形式 ， 其 参数 通过 训练 数据 
来 估计 。 为 了 得 到 这 个 统计 分 布 。 我 们 在 30 秒 内 取 1000 帧 图 像 对 人 脸面 部 肤色 的 某 一 像素 值 
进行 观察 。 从 实验 中 ,我 们 发 现 ， 人 的 肤色 在 色 度 空间 分 布 符合 二 维 高 斯 分 布 N (u, 8), H 
PIA w=Ely}, v=(C,, C) T; 假设 C. C, 颜色 分 量 相互 统计 独立 。 则 协 方差 6 = 
E| (x-p) (xx -A) 1。 根据 肤色 在 色 度 空 间 的 高 斯 分 布 ， 对 于 图 像 上 任意 一 点 从 RGB 颜色 
空间 变换 到 YCbCr 颜色 空间 ， 从 而 得 到 该 点 属于 肤色 区 域 的 概率 如 式 (7-3) 所 示 : 

P(C,,C,) =exp[ - (x =u) 0 (x -u)/2]/| are ea eae (7-3) 

在 实验 中 ， 属 于 肤色 的 C. C, 颜色 分 量 的 均值 取 : j= (117. 4361, 156.5599)", HI 

差 6 如 式 (7-4) PR: 









































= (7-4) 
12. 1430 299. 4574 


通过 肤色 模型 将 一 副 彩 色 图 像 转变 为 灰 度 图 像 ， 灰 度 值 对 应 于 该 点 属于 皮肤 区 域 的 程 
度 。 然 后 我 们 采用 动态 平均 阔 值 法 对 图 像 进行 二 值 化 处 理 ， 结 合 水 平 灰 度 投 影 和 垂直 灰 度 投 
影 ， 找 到 人 脸 区 域 的 上 下 边界 ， 对 人 脸 进行 标记 。 

将 人 脸 检 测 标记 出 的 人 脸 区 域 进 行 二 次 处 理 ， 调 用 OpenCV 算法 进行 人 脸 识 别 ， 开 发 包 
组 件 包 括 头 文件 : cv. h, highgui.h, ImageProcess. h, export. h 动态 引入 时 刻 库 和 运行 时 刻 库 
FaceSys. lib, ImageProcess. jb ， 开 发 中 需要 动态 库 ev099. dll, FaceSys. dll, highgui099. dl 的 
XIF. 

为 了 使 程序 更 加 模块 化 ,我们 将 以 上 所 说 的 算法 整体 都 封装 在 DLL 库 ， 这 样 可 以 使 开 
发 者 使 用 起 来 更 加 方便 ， 尤其 是 进行 二 次 开发 时 。 我 们 向 外 部 提供 的 三 个 文件 ， 头 文件 
(FaceID. h), FacelID. lib 文件 ， 动 态 库 文件 (FacelD. dll) 。 

(2) 程序 实现 


: Ee 1301 12. 1430 ) 
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1) 图 像 采集 实现 : 基于 算法 的 要 求 ， 我 们 所 采集 的 人 脸 图 像 必须 是 BMP 图 片 ， 无 论 是 
注册 还 是 识别 。 这 一 点 我 们 在 程序 主要 通过 微软 的 vfw 来 实现 。 


2) 人 脸 注册 与 识别 的 实现 根据 动态 库 提供 


图 ， 如 图 7-30 所 示 。 


_InitFaceID 


获取 人 





脸 图 像 


检测 、 定 位 、 登 录 


保存 人 脸 特征 模板 


_FreeFaceID 


a) 











图 7-30 AKN 


a) 人 脸 注 册 流 程 图 





人 脸 注 册 界 面 如 图 7-31 所 示 。 


HEH SORE 语音 设置 ”图像 设置 ”动作 表演 


注册 人 人 脸 ” 退 出 





的 接口 ， 我 们 分 析出 注册 和 识别 的 流程 


_InitFaceID 
_LoadPopulation 











捕捉 图 像 、 检 测 、 定 位 、 
特征 提取 、 认 证 或 识别 


_FreeFaceID 


b) 








FE 册 和 识别 流程 图 
b) 人 脸 识别 流程 图 
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人 脸 注 册 界 面 
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图 7-31 主要 是 演示 人 脸 注册 的 过 程 ， 我 们 在 注册 的 时 候 ， 会 向 数据 库 中 写 和 人 用户 的 人 
脸 姓 名 ， 动 作 号 以 及 对 应 的 语音 信息 ， 这 样 做 的 目的 是 使 系统 可 以 实现 根据 不 同 的 人 ,调整 
回话 内 容 和 表演 动作 。 在 注册 对 话 框 上 有 两 个 主要 的 按钮 ， 代 表 两 种 不 同 的 注册 方式 : 一 个 
是 视频 采集 ， 另 一 个 是 照片 注册 。 视 频 采 集 的 注册 方式 是 采用 摄像 头 采 集 的 bmp 照片 来 完 
成 人 脸 信息 的 写 和 人 以 及 注册 ; 而 照片 注册 是 通过 加 载 现 有 的 bmp 文件 来 实现 人 脸 信息 写 人 
以 及 人 脸 的 注册 。 

人 脸 识别 结果 界面 如 图 7-32 所 示 。 
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Al 7-32 人 脸 识 别 结果 





当 用 户 向 情感 机 器 人 说 : 认识 我 吗 ， 机 器 人 就 会 让 你 


看 看 他 的 眼睛 ， 然 后 就 合成 我 们 注册 时 候 写 入 的 语音 信 | ao | 
息 ， 并 在 姓名 所 对 应 的 编辑 框 中 写 入 人 脸 的 姓名 。 


6. 网 络 功能 模块 实现 


根据 闪 联 的 标准 以 及 提供 








的 文档 ， 我 们 将 该 协议 封装 

在 库 中 ， 只 向 外 部 提供 接口 ， 在 此 平台 上 ， 主 要 利用 动态 

库 提供 的 接口 来 实现 ICRS 设备 的 功能 。 YS ol de 
(2) 集成 IGRS 功能 流程 ( 见 图 7-33) 
(3) 代码 实现 





设置 回调 函数 实现 设备 注册 ， 服 务 注册 


主要 包括 : 初始 化 协议 栈 、 定 义 和 设 置 回调 函数 和 订阅 ， 服 务 调用 
(全 局 函数 ) 和 服务 调用 函数 。 

设置 回调 函数 实现 拆除 会 话 ， 并 向 控制 
7. 4. 3 ”故障 检测 ; 中 心 返回 结果 














软件 平台 集成 了 很 多 功能 模块 ， 每 个 功能 模块 之 间 又 。 图 7-33 集成 IGRS 功能 流程 医 
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直接 或 者 间接 的 进行 信息 交互 ， 如 果 平 台 上 的 某 个 功能 出 了 问题 会 直接 影响 到 其 他 功能 模块 
的 运行 以 及 整个 软件 系统 总 体 的 性 能 。 
为 了 减少 检测 错误 的 时 间 我 们 需要 在 软件 平台 的 设计 中 加 入 模块 检 错 功能 ， 这 样 对 每 个 
模块 的 运行 状态 进行 测试 就 能 很 快 的 确定 故障 出 在 哪里 ,减少 平台 故障 检测 的 时 间 。 
模块 化 的 故障 检测 方法 如 下 : 首先 断 开 其 他 模块 与 平台 的 链接 ， 只 测试 一 个 模块 的 功 
能 ， 如 果 有 其 他 模块 与 待 测试 模块 的 交互 ， 则 模拟 交互 数据 进行 测试 ， 如 图 7-34 所 示 。 























图 7-34 模块 故障 检测 


1. 语音 故障 检测 

语音 故障 检测 有 两 种 检测 方式 : 一 是 通过 调用 已 经 录 好 的 wav 声音 文件 进行 识别 ， 这 种 
方式 把 故障 锁定 在 识别 处 理 模块 内 部 ， 消 除了 麦克 风 (mic) 或 者 声卡 的 故障 对 语音 识别 的 
影响 。 另 一 种 是 直接 通过 mic 进行 语音 的 识别 ， 通 过 以 上 两 种 方法 的 就 能 分 析出 语音 故障 出 
现 的 具体 位 置 。 如 图 7-35 所 示 。 

2. 语音 合成 故障 检 错 

如 果 语 音 识 别 检测 无 误 ， 即 可 对 语音 合成 功能 模块 进行 故障 检 错 ， 检 测 界 面 如 图 7-36 
所 示 。 


调用 wav 文 件 识别 通过 miciR 别 
sat, HAVER TE. [iid eid 





我 是 机 器 人 欢迎 大 家 


开始 识别 



































N 








7-35 语音 故障 检测 界面 图 7-36 语音 合成 故障 检测 界面 











上 图 是 我 们 对 语音 合成 模块 进行 故障 检测 的 测试 界面 ， 判 断 该 模块 是 否 正 常 运行 ， 当 我 
们 在 编辑 框 中 输入 语音 合成 文本 后 ， 点 击 测试 按钮 ， 如 果 能 通过 正确 语音 输出 该 文本 信息 ， 
则 表明 该 模块 能 够 正确 运行 ， 否 则 表示 该 模块 出 现 故 障 。 
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3. 通信 检 错 
串口 通信 检测 首先 要 进行 串口 的 设置 如 图 7-37b 所 示 ， 然 后 在 第 二 步 中 输入 数字 发 送 ， 
下 位 机 收 到 数字 后 会 反馈 一 个 这 个 数字 如 图 7-37a 所 示 。 以 此 来 确定 串口 通信 是否 有 问题 。 


-第 一 步 ， 串口 设置 
| 


-第 三 步 ， 反 馈 数据 BOIS: (A. ARM.: EM 停止 位 : 


LA 


a Ea eo a a ae 

















E 返回 _ BE | _ 3 | 





图 7-37 通信 故障 检测 界面 
a) 串口 通信 检测 界面 b) 串口 通信 设置 
































E 考 题 


7-1 简 述 机 器 人 的 控制 体系 结构 的 分 类 。 
7-2 目前 关于 中 文 语音 识别 的 研制 和 开发 的 厂商 有 哪些 ”并 详 述 他 们 之 间 的 优 缺 点 。 
7-3 总 结 目前 人 脸 识 别 技术 的 国内 外 现状 。 

7-4 画 出 基于 HMM 的 人 脸 识别 算法 的 流程 图 。 
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第 8 章 数据 库 技术 


通过 第 6 章 和 第 7 章 对 人 机 交互 与 合作 的 介绍 ， 我 们 可 以 联想 到 情感 机 器 人 进行 语音 交 
流 的 内 容 以 及 面部 表情 的 状态 都 是 存储 在 哪里 呢 ? 这 无 疑 涉及 数据 库 与 知识 库 的 相关 技术 。 
本 书 的 第 8 章 和 第 9 章 就 重点 介绍 有 关 数 据 库 和 知识 库 的 内 容 。 为 了 详细 说 明 数 据 库 技术 在 
情感 机 器 人 系统 中 的 应 用 ， 本 章 介绍 了 一 种 面向 数字 家 庭 的 健康 保健 数据 库 系 统 ， 该 系统 通 
过 软件 工程 方法 与 理论 研究 相 结合 、 实 际 健康 变化 和 预测 分 析 相 结合 的 研究 方法 ， 建 立 了 一 
个 科学 、 有 效 的 智能 化 交互 健康 指标 预测 模型 ， 并 实现 了 一 套 切 实 可 行 的 健康 保健 数据 库 系 
统 。 图 8-1 所 示 为 健康 保健 系统 的 示意 图 。 
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图 8-1 健康 保健 系统 示意 图 


8.1 数据 库 基 础 知识 


1. 数据 库 的 定义 

数据 库 是 按照 一 定 结构 组 织 的 相关 数据 的 集合 ， 在 计算 机 存储 设备 上 合理 地 存放 相互 关 
联 的 数据 集 。 

数据 库 的 定义 包含 了 以 下 两 个 含义 : 存储 数据 的 目的 是 为 了 应 用 处 理 服务 ， 数据 的 存储 
不 是 杂乱 无 章 的 ， 而 是 按照 特定 的 结构 进行 存储 的 。 

2. 数据 库 模 型 的 种 类 

(1) 关系 型 数据 库 

关系 型 数据 库 以 行 和 列 的 形式 存储 数据 ， 以 便于 用 户 理解 。 这 一 系列 的 行 和 列 被 称 为 
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表 ， 一 组 表 组 成 了 数据 库 。 用 户 用 查询 (Query) 来 检索 数据 库 中 的 数据 。 每 个 Query 对 应 
于 一 个 用 于 指定 数据 库 中 行 和 列 的 SELECT 语句 。 关 系 型 数据 库 通 常 包含 下 列 组 件 : 客户 端 
应 用 程序 ( Client) ; 数据 库 服务 器 (Server); 数据 库 (Database) 。 

Structured Query Language (SQL) 是 Client 端 和 Server 端的 桥梁 ，Client 用 SQL 来 向 
Server 端 发 送 请 求 ，Server 返回 Client 端 要 求 的 结果 。 现 在 流行 的 大 型 关系 型 数据 库 有 IBM 
DB2 IBM UDB, Oracle, SQL Server, SyBase, Informix 等 。 

关系 型 数据 库 管 理 系 统 中 储存 与 管理 数据 的 基本 形式 是 二 维 表 。 

(2) 网 状 数据 库 

网 状 数据 库 人 处 理 以 记录 类 型 为 节点 的 网 状 数据 模型 的 数据 库 。 处 理 方法 是 将 网 状 结构 分 
解 成 若干 棵 二 级 树 结构 ， 称 为 系 。 系 类 型 是 两 个 或 两 个 以 上 的 记录 类 型 之 间 联 系 的 一 种 描 
述 。 在 一 个 系 类 型 中 ， 有 一 个 记录 类 型 处 于 主导 地 位 ， 称 为 系 主 记录 类 型 ， 其 他 称 为 成 员 记 
录 类 型 。 

系 主 和 成 员 之 间 的 联系 是 一 对 多 的 联系 。 网 状 数据 库 的 代表 是 DBTG 系统 。1969 年 美 
国 的 CODASYL 组 织 提出 了 一 份 “DBTG Hie”, Wea, Ate DBTG 报告 实现 的 系统 一 般 称 为 
DBTG 系统 。 现 有 的 网 状 数据 库 系 统 大 都 是 采用 DBTG 方案 。DBTG 系统 是 典型 的 三 级 结构 
体系 : 子 模式 、 模 式 、 存 储 模式 。 相 应 的 数据 定义 语言 分 别称 为 子 模式 定义 语言 SSDDL、 
模式 定义 语言 SDDL、 设 备 介 质 控 制 语言 DMCL， 男 外 还 有 数据 操纵 语言 DML, 

(3) 层次 型 数据 库 

层次 型 数据 库 管理 系统 是 紧 随 网 状 数据 库 而 出 现 的 。 现 实 世 界 中 很 多 事物 是 按 层次 组 织 
起 来 的 。 层 次 数据 模型 的 提出 ， 首 先是 为 了 模拟 这 种 按 层次 组 织 起 来 的 事物 。 层 次 数据 库 也 
是 按 记 录 来 存 取 数据 的 。 层 次 数据 模型 中 最 基本 的 数据 关系 是 基本 层次 关系 ， 它 代表 两 个 记 
录 型 之 间 一 对 多 的 关系 ， 也 叫做 双亲 子女 关系 (PCR). 

数据 库 中 有 且 仅 有 一 个 记录 型 无 双 杂 ， 称 为 根 节 点 。 其 他 记录 型 有 且 仅 有 一 个 双亲 。 在 
层次 模型 中 从 一 个 节点 到 其 双亲 的 映射 是 唯一 的 ， 所 以 对 每 一 个 记录 型 (除根 节点 外 ) 只 
需要 指出 它 的 双亲 ， 就 可 以 表示 出 层次 模型 的 整体 结构 。 层 次 模型 是 树 状 的 。 最 著名 且 最 典 
型 的 层次 数据 库 系 统 是 IBM 公司 的 IMS (Information Management System) ， 这 是 IBM 公司 研 
制 的 最 早 的 大 型 数据 库 系 统 程 序 产 品 。 从 60 年 代 末 产生 起 ， 如 今 已 经 发 展 到 IMSV6 ， 提 供 
群集 、N 路 数据 共享 、 消 息 队 列 共享 等 先进 特性 的 支持 。 这 个 具有 30 年 历史 的 数据 库 产品 
在 如 今 的 WWW 应 用 连接 、 商 务 智能 应 用 中 扮演 着 新 的 角色 。 

3. 数据 库 的 种 类 及 其 特点 

(1) Access 数据 库 

Access 数据 库 是 美国 Microsoft 公司 于 1994 年 推出 的 微机 数据 库 管理 系统 。 它 具有 界面 
友好 、 易 学 易 用 、 开 发 简单 、 接 口 灵 活 等 特点 ， 是 典型 的 新 一 代 桌 面 数据 库 管 理 系 统 。 其 主 
要 特点 如 下 : 

1) 完善 地 管理 各 种 数据 库 对 象 ， 具 有 强大 的 数据 组 织 、 用 户 管理 、 安 全 检查 等 功能 。 

2) 强大 的 数据 处 理 功 能 ， 在 一 个 工作 组 级 别 的 网 络 环境 中 ， 使 用 Access 开发 的 多 用 户 
数据 库 管 理 系统 具有 传统 的 XBASE (DBASE, FoxBASE 的 统称 ) 数据 库 系 统 所 无 法 实现 的 
客户 服务 器 (Cient/Server) 结构 和 相应 的 数据 库 安全 机 制 ，Access 具备 了 许多 先进 的 大 型 
数据 库 管 理 系统 所 具备 的 特征 ， 如 事务 处 理 / 出 错 回 滚 能 力 等 。 
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3) 可 以 方便 地 生成 各 种 数据 对 象 ， 利 用 存储 的 数据 建立 窗 体 和 报表 ， 可 视 性 好 。 

4) 作为 Office 套件 的 一 部 分 ， 可 以 与 0ffice 集成 ， 实 现 无 颖 连接 。 

5) 能 够 利用 Web 检索 和 发 布 数据 ， 实 现 与 Internet HER, Access 主要 适用 于 中 小 型 
应 用 系统 ， 或 作为 客户 机 /服务 器 系统 中 的 客户 端 数据 库 。 

(2) Informix 数据 库 

Informix 数据 库 是 美国 InfomixSoftware 公司 研制 的 关系 型 数据 库 管理 系统 。Informix 有 
Informix- SE 和 Informix- Online 两 种 版 本 。Informix- SE 适用 于 UNIX 和 WindowsNT 平台 ， 是 
为 中 小 规模 的 应 用 而 设计 的 ，Informix- Online 在 UNIX 操作 系统 下 运行 ， 可 以 提供 多 线程 服 
务 器 ， 支 持 对 称 多 处 理 器 ， 适 合 大 型 应 用 。 

Informix 可 以 提供 面向 屏幕 的 数据 输入 询问 及 面向 设计 的 询问 语言 报告 生成 峰 。 数 据 定 
义 包 括 定义 关系 、 撤 销 关 系 、 定 义 索 引 和 重新 定义 索引 等 。Informix 不 仅 可 以 建立 数据 库 ， 
还 可 以 方便 地 重 构 数 据 库 ， 系 统 的 保护 措施 十 分 健全 ， 不 仅 能 使 数据 得 到 保护 而 不 被 权限 外 
的 用 户 存 取 ， 而 且 能 重新 建立 丢失 的 文件 及 恢复 被 破坏 的 数据 。 其 文件 的 大 小 不 受 磁盘 空间 
的 限制 ， 域 的 大 小 和 记录 的 长 度 均 可 达 2KB。 采 用 加 下 标 顺序 访问 法 ，Informix 与 COBOL $k 
件 兼容 ， 并 支持 C 语言 程序 。Informix 可 移植 性 强 、 兼 容 性 好 ， 在 很 多 微型 计算 机 和 小 型 机 
上 得 到 应 用 ， 尤 其 适用 于 中 小 型 企业 人 事 、 仓 储 及 财务 的 管理 。 

(3) Orcale 数据 库 

Orcale 数据 库 是 美国 Orcale 公司 研制 的 一 种 关系 型 数据 库 管 理 系 统 ， 是 一 个 协调 服务 器 
和 用 于 支持 任务 决定 型 应 用 程序 的 开放 型 RDBMS。 它 可 以 支持 多 种 不 同 的 硬件 和 操作 系统 
平台 ， 从 台式 机 到 大 型 和 超级 计算 机 ， 为 各 种 硬件 结构 提供 高 度 的 可 伸缩 性 ， 支 持 对 称 多 处 
理 费 、 群 集 多 处 理 避 、 大 规模 处 理 带 等 ， 并 提供 广泛 的 国际 语言 支持 。Orcale 是 一 个 多 用 户 
系统 ， 能 自动 从 批 处 理 或 在 线 环境 的 系统 故障 中 恢复 运行 。 系 统 提供 了 一 个 完整 的 软件 开发 
工具 Developer 2000， 包 括 交互 式 应 用 程序 生成 器 、 报 表 打 印 软件 、 字 处 理 软件 以 及 集中 式 
数据 字典 ， 用 户 可 以 利用 这 些 工具 生成 自己 的 应 用 程序 。Orcale 以 二 维 表 的 形式 表示 数据 ， 
并 提供 了 SQL (结构 式 查 询 语言 )， 可 完成 数据 查询 、 操 作 、 定 义 和 控 制 等 基本 数据 库 管理 
功能 。Orcale 具有 很 好 的 可 移植 性 ， 通 过 它 的 通信 功能 ， 微 型 计算 机 上 的 程序 可 以 同 小 型 力 
至 大 型 计算 机 上 的 Orcale 相互 传递 数据 。 另 外 ，Orcale 还 具有 电子 表格 、 图 形 处 理 等 软件 。 
Orcale 属于 大 型 数据 库 系 统 ， 主 要 适用 于 大 、 中 型 应 用 系统 ， 或 作为 客户 机 /服务 带 系 统 中 
服务 器 端的 数据 库 系 统 。 

(4) DB2 数据 库 

DB2 数据 库 是 IBM 公司 研制 的 一 种 关系 型 数据 库 系统 。DB2 主要 应 用 于 大 型 应 用 系统 ， 
具有 较 好 的 可 伸缩 性 ， 可 支持 从 大 型 机 到 单 用 户 环 境 ， 应 用 于 0S/2、Windows 等 平台 下 。 
DB2 提供 了 高 层次 的 数据 利用 性 、 完 整 性 、 安 全 性 、 可 恢复 性 ， 以 及 小 规模 到 大 规模 应 用 
程序 的 执行 能 力 ， 具 有 与 平台 无 关 的 基本 功能 和 SQL 命令 。DB2 采用 了 数据 分 级 技术 ， 能 
够 使 大 型 机 数据 很 方便 地 下 载 到 LAN 数据 库 服 务 器 ， 使 得 客户 机 /服务 器 用 户 和 基于 LAN 
的 应 用 程序 可 以 访问 大 型 机 数据 ， 并 使 数据 库 本 地 化 及 远程 连接 透明 化 。 它 以 拥有 一 个 非常 
完备 的 查询 优化 器 而 著称 ， 其 外 部 连接 改善 了 查询 性 能 ， 并 支持 多 任务 并 行 查询 。DB2 A 
有 很 好 的 网 络 支 持 能 力 ， 每 个 子 系统 可 以 连接 十 几 万 个 分 布 式 用 户 ， 可 同时 激活 上 千 个 活动 
线程 ， 对 大 型 分 布 式 应 用 系统 尤为 适用 。 
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(5) Sybase 数据 库 

Sybase 数据 库 是 美国 Sybase 公司 研制 的 一 种 关系 型 数据 库 系 统 ， 是 一 种 典型 的 用 于 
UNIX 或 Windows 平台 上 客户 机 /服务 顺 环境 下 的 大 型 数据 库 系 统 。Sybase 提供 了 一 套 应 用 程 
序 编程 接口 和 库 ， 可 以 与 非 Sybase 数据 源 及 服务 器 集成 ， 人 允许 在 多 个 数据 库 之 间 复 制 数据 ， 
适 于 创建 多 层 应 用 。 系 统 具 有 完备 的 触发 需 、 存 储 过 程 、 规 则 以 及 完整 性 定义 ， 支 持 优化 查 
询 ， 具 有 较 好 的 数据 安全 性 。Sybase 通常 与 SybaseSQLAnywhere 用 于 客户 机 /服务 需 环境 ， 
前 者 作为 服务 器 数据 库 ， 后 者 为 客户 机 数据 库 ， 采 用 该 公司 研制 的 PowerBuilder 作为 开发 工 
有 具 ， 在 我 国 大 、 中 型 系统 中 具有 广泛 的 应 用 。 

(6) FoxPro 数据 库 

FoxPro 数据 库 最 初 由 美国 Fox 公司 1988 年 推出 ，1992 年 Fox 公司 被 Microsoft 公司 收购 
后 ， 相继 推出 了 FoxPro2. 5、2.6 和 VisualFoxPro 等 版 本 ， 其 功能 和 性 能 有 了 较 大 的 提升 。 
FoxPro2. 5, 2. 6 分 为 DOS 和 Windows 两 种 版 本 ,分 别 运行 于 DOS 和 Windows 环境 下。Fox- 
Pro 比 FoxBASE 在 功能 和 性 能 上 又 有 了 很 大 的 改进 ， 主 要 是 引入 了 窗口 、 按 钮 、 列 表 框 和 文 
本 框 等 控件 ， 进 一 步 提 高 了 系统 的 开发 能 

(7) SQL Server 数据 库 

SQL Server 是 由 Microsoft 公司 推出 的 一 种 关系 型 数据 库 系 统 。 它 是 一 个 可 扩展 的 、 高 性 
能 的 、 为 分 布 式 客户 机 /服务 器 计算 所 设计 的 数据 库 管 理 系统 ， 实 现 了 与 WindowsNT 的 有 机 
结合 ， 提 供 了 基于 事务 的 企业 级 信息 管理 系统 方案 。 

其 主要 特点 如 下 : 

1) 高 性 能 设计 ， 可 充分 利用 Windows 的 优势 。 

2) RREH, LIF Windows 图 形 化 管理 工具 ， 文 持 本 地 和 远程 的 系统 管理 和 
配置 。 

3) 强大 的 事务 处 理 功能 ,采用 各 种 方法 保证 数据 的 完整 性 。 

4) 支持 对 称 多 处 理 器 结构 、 存 储 过 程 、ODBC， 并 具有 自主 的 SQL 语言 。SQL Server 以 
其 内 置 的 数据 复制 功能 、 强 大 的 管理 工具 、 与 Internet 的 紧密 集成 和 开放 的 系统 结构 为 广大 
的 用 户 、 开 发 人 员 和 系统 集成 商 提供 了 一 个 出 众 的 数据 库 平台 。 

在 本 研究 中 ， 主 要 使 用 关系 型 数据 库 一 一 MS SQL SERVER 2005， 下 面 主 要 介绍 SQL 
Server 的 功用 。 

SQL Server 数据 平台 包括 以 下 工具 : 

1) 关系 型 数据 库 : 安全 、 可 靠 、 可 伸缩 、 高 可 用 的 关系 型 数据 库 引 擎 ， 提 升 了 性 能 且 
支持 结构 化 和 非 结 构 化 (XML) 数据 。 
2) 复制 服务 : 数据 复制 可 用 于 数据 分 发 、 处 理 移动 数据 应 用 、 系 统 高 可 用 、 企 业 报 表 
解决 方案 的 后 备 数据 可 伸缩 存储 、 与 异 构 系 统 的 集成 等 ,包括 已 有 的 Oracle 数据 库 等 。 

3) 通知 服务 : 用 于 开发 、 部 署 可 伸缩 应 用 程序 的 先进 的 通知 服务 能 够 向 不 同 的 连接 和 
移动 设备 发 布 个 性 化 、 及 时 的 信息 更 新 。 

4) 集成 服务 : 可 以 支持 数据 仓库 和 企业 范围 内 数据 集成 的 抽取 、 转 换 和 装载 。 

5) 分 析 服 务 : 联机 分 析 处 理 (OLAP) 功能 可 用 于 多 维 存储 的 大 量 、 复 杂 数 据 集 的 快 
速 高 级 分 析 。 

6) 报表 服务 : 全 面 的 报表 解决 方案 ， 可 创建 、 管 理 和 发 布 传统 的 、 可 打印 的 报表 和 交 
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互 的 、 基 于 Web 的 报表 。 

7) 管理 工具 : SQL Server 包含 的 集成 管理 工具 可 用 于 高 级 数据 库 管理 和 协调 ， 它 也 和 
其 他 微软 工具 ， 如 MOM 和 SMS 紧密 集成 在 一 起 。 标 准 数据 访问 协议 大 大 减少 了 SQL Server 
和 现 有 系统 间 数 据 集成 所 花费 的 时 间 。 此 外 ， 构 建 于 SQL Server PAY AK Web service 支持 
确保 了 和 其 他 应 用 及 平台 的 互 操作 能 

8) 开发 工具 : SQL Server 为 数据 库 引 擎 、 数 据 抽取 、 转 换 和 装载 (ETL) 、 数 据 挖掘 、 
OLAP 和 报表 提供 了 和 Microsoft Visual Studio 相 集成 的 开发 工具 ， 以 实现 端 到 端的 应 用 程序 
开发 能 力 。SQL Server 中 每 个 主要 子 系统 都 有 自己 的 对 象 模型 和 API， 能 够 以 任何 方式 将 数 
据 系统 扩展 到 不 同 的 商业 环境 中 。 

SQL Server 2005 数据 平台 为 不 同 规模 的 组 织 提 供 了 以 下 好 处 : 

1) 充分 利用 数据 资产 除了 为 业务 线 和 分 析 应 用 程序 提供 一 个 安全 可 靠 的 数据 库 之 
yh, SQL Server 2005 也 使 用 户 能 够 通过 般 入 的 功能 ， 如 报表 、 分 析 和 数据 挖掘 等 从 它们 的 数 
据 中 得 到 更 多 的 价值 。 

2) 提高 生产 力 : 通过 全 面 的 商业 智能 功能 和 熟悉 的 应 用 软件 (A, Office 微软 系统 ) 
集成 ，SQL Server 2005 为 组 织 内 信息 工作 者 提供 了 关键 的 、 及 时 的 商业 信息 以 满足 它们 特定 
的 需求 。SQL Server 2005 目标 是 将 商业 智能 扩展 到 组 织 内 的 所 有 有 用户， 并且 最 终 允 许 组 织 
所 有 级 别 的 用 户 能 够 基于 它们 最 有 价值 的 资产 一 一 数据 来 做 出 更 好 的 决策 。 

3) p> IT 复杂 度 : SQL Server 2005 简化 了 开发 、 部 署 和 管理 业务 线 和 分 析 应 用 程序 的 
复杂 度 ， 它 为 开发 人 员 提 供 了 一 个 灵活 的 开发 环境 ， 为 数据 库 管 理 人 员 提 供 了 集成 的 自动 管 
理工 具 。 

4) 更 低 的 总 体 拥有 成 本 (TCO) : 对 产品 易 用 性 和 部 署 上 的 关注 以 及 集成 的 工具 提供 
了 工业 上 最 低 的 规划 、 实 现 和 维护 成 本 ， 使 数据 库 投资 能 快速 得 到 回报 。 


8.2 ”健康 数据 库 的 设计 


健康 已 被 越 来 越 多 的 现代 人 所 关注 ， 在 传统 的 健康 保健 方法 中 ， 人 必须 要 到 医院 去 做 相 
应 的 检查 ， 需 要 排队 、 挂 号 等 ， 付 出 了 宝贵 的 时 间 ， 而 且 效 率 低下 、 效 果 不 佳 ， 使 人 不 免 为 
自己 将 来 的 健康 状况 忧心 仲 仲 。 而 数字 家 庭 是 顺应 高 速 发 展 的 计算 机 技术 和 网 络 技术 的 现代 
化 产物 ， 在 提升 大 家 检查 速度 的 同时 ， 也 提高 了 大 家 的 健康 质量 ， 因 此 ， 我 们 急需 一 个 健康 
保健 数据 库 系 统 来 实现 ， 如 记录 家 庭 成 员 的 健康 状态 、 安 全 可 靠 的 存储 数据 、 查 新 、 模 糊 搜 
索 等 功能 。 

本 节 将 要 讲述 如 何 建立 健康 保健 数据 库 系统 。 

系统 的 开发 平台 及 运行 环境 如 下 : 

1) 系统 开发 平台 : Microsoft Visual Stutio 2005 ; 

2) 采用 技术 及 编程 语言 : 采用 ASP. NET 2. 0 技术 ， 编 程 语言 为 CH; 

3) 数据 库 管理 系统 软件 : Microsoft SQL Server 2005 ; 

4) XML 编辑 环境 : Altova XMLSpy; 

5) 页 面 辅助 编辑 : Macromedia Dreamweaver 8 ; 

6) 运行 平台 : Windows Vista/ Windows XP/Windows 2000/Windows Server 2003 ; 
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7) 运行 环境 : Microsoft. NET Framework SDK v2. 0; 
8) DIR: 最 佳 效 果 1024 x 768 像素 。 


8.2.1 系统 目标 设计 


本 系统 属于 小 型 的 数据 库 管理 系统 ， 可 以 对 家 庭 中 成 员 的 健康 状况 进行 有 效 的 管理 。 通 
过 本 系统 可 以 达到 以 下 目标 : 

1) 灵活 的 录入 数据 ， 使 信息 传递 更 便捷 。 

2) 系统 采用 人 机 交互 方式 ， 界面 美观 、 友 好 ， 信 息 查 询 方式 灵活 、 方 便 ,， 数据 存储 安 
全 可 靠 。 

3) 实现 后 台 监 控 功 能 。 

4) 对 健康 数据 进行 整体 分 析 和 局 部 分 析 功 能 。 

5) 实现 各 种 查 新 ， 文 持 模 糊 查 询 。 

6) 实现 家 庭 成 员 健康 数据 的 信息 化 管理 。 

7) 对 用 户 输入 的 数据 进行 数据 检验 ， 尽 可 能 避免 人 为 错误 。 

8) 系统 最 大 限度 地 实现 易 维 护 性 和 易 操作 性 。 


8.2.2 ”应 用 系统 规划 及 功能 结构 


家 庭 健康 保健 数据 库 系 统 主要 由 资料 管理 、 家 中 信息 管理 、 统 计 分 析 、 用 户 管理 、 系 统 
维护 、 帮 助 等 模块 组 成 ， 具 体 规划 如 下 : 

1) 资料 管理 模块 。 该 模块 主要 用 于 实现 对 家 庭 中 的 一 些 健康 数据 的 管理 、 区 域 信息 的 
管理 、 用 户 资料 管理 等 功能 。 

2) 家 中 信息 管理 模块 。 该 模块 主要 用 于 实现 家 人 基本 信息 、 家 人 其 他 信息 、 电 融 信 
息 、 重 大 历史 事件 信息 管理 等 功能 。 

3) 统计 分 析 模块 。 该 模块 主要 用 于 对 健康 数据 进行 各 项 指标 的 分 析 ， 这 部 分 的 具体 实 
现 算法 和 过 程 详 见 第 2 章 。 

4) 用 户 管理 模块 。 该 模块 主要 包括 对 用 户 资料 进 行 管 理 、 更 改 密码 、 更 改 权限 等 
功能 。 
5) 系统 维护 模块 。 该 模块 主要 用 于 实现 对 系统 数据 库 中 数据 的 备份 、 还 原 和 清理 
功能 。 

6) 帮助 模块 。 该 模块 主要 包括 创建 记事 本 、Word X, Excel 文档 ; 实现 窗口 的 水 平 
平 铺 和 垂直 平 铺 ; 关于 我 们 ， 系 统 的 重新 登录 和 退出 系统 功能 。 

图 8-2 所 示 为 健康 保健 数据 库 系统 的 系统 功能 结构 图 。 


8. 2.3 系统 的 业务 流程 
健康 保健 数据 库 系 统 的 业务 流程 如 图 8-3 所 示 。 
8.2.4 系统 界面 设计 


本 系统 是 一 个 C/S 结构 的 系统 ， 界 面 框架 、 样 式 及 导航 逻辑 采用 HTML + CSS + JavaS- 
cript 进行 编辑 。 
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健康 保健 数据 库 系统 


资料 管理 家 中 信息 管理 统计 分 析 用 户 管理 系统 维护 
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图 8-2 健康 保健 数据 库 系统 的 系统 功能 结构 图 
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图 8-3 ”健康 保健 数据 库 系统 业务 流程 图 


系统 界面 的 整体 结构 如 图 8-4 所 示 ， 采 用 Frame 将 完 

整 页 面 划 分 为 三 个 子 页 面 。 上 面 的 topFrame 作为 功能 一 级 功能 目录 /用 户 概要 信息 

航 的 一 级 目录 ， 描 述 一 个 完整 的 业务 环节 ， 并且 负 责 显示 
一 些 用 户 或 工程 的 简要 信息 ; 左 侧 的 leftFrame 作为 一 级 
功能 目录 下 的 二 级 子 目 录 ， 描 述 完整 业务 环节 的 子 功 能 模 
块 划分 ; 右 侧 的 mainFrame 是 功能 的 内 容 页面 ， 负 责 向 用 
户 提供 具体 的 可 操作 逮 辑 及 数据 ， 助 其 完成 业务 环节 或 功 
能 模块 的 功能 。 一 二 级 功能 目录 按 图 8-4 中 的 功能 层次 图 8-4 系统 的 界面 的 整体 结构 划分 
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划分 。 
8.2.5 系统 功能 结构 
系统 的 具体 流程 与 职责 情况 如 图 8-5 系统 用 例 分 析 所 示 。 


区 域 信 息 管理 
包 器 信息 管理 重大 历史 事件 板块 健康 数据 管理 
板块 板块 板块 用 户 管理 板块 
更 改 密码 板块 


用 户 资料 管理 
资料 管理 板块 板块 
设置 权限 板块 
用 户 管理 板块 


系 人 其 他 信息 
E 
i 系 中 信息 管 于 
板块 
系 人 基本 信息 
A 
\ oie 数据 备份 板块 
统计 分 析 板 块 )<< 超 级 管理 内 ene 


系统 维护 板块 
体温 /脉搏 等 


EEL FALE 
析 板 块 数据 还 原 板块 
重新 登陆 板块 帮助 板块 
数据 情侣 板块 


退出 系统 板块 启用 Word 板 块 
启用 Excel 板 块 


图 8-5 系统 用 例 分 析 图 








血压 分 析 板 块 


血 氧 分 析 板块 







从 图 8-5 可 以 看 出 ， 本 系统 主要 的 用 户 类 型 有 两 种 ， 分 别 用 来 实现 对 不 同 模块 的 权限 管 
理 与 设置 。 其 中 ， 超 级 用 户 管理 员 可 以 实现 系统 所 有 功能 的 设置 及 修改 ， 而 普通 用 户 可 以 用 
来 对 自己 的 健康 信息 进行 录入 、 查 询 以 及 修改 ， 这 样 一 来 ， 可 以 很 方便 地 保护 自己 的 隐私 功 
能 ， 从 而 增强 了 系统 的 可 用 性 。 


8.2.6 数据 库 设 计 


本 系统 采用 SQL Sever2005 作为 后 台数 据 库 ， 数 据 库 命 名 为 由 _Health ， 其 中 包含 8 张 数 
据 表 。 下 面 分 别 进行 各 个 模块 的 介绍 。 

1. 数据 库 

本 健康 系统 所 使 用 数据 库 命 名 以 字母 “db” (小 写 ) 开 ， 后 面 加 数据 库 相 关 英 文 单词 或 
缩写 见 表 8-1。 
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8-1 数据 库 
数据 库 名 称 Hi 8 





db_Health 健康 保健 数据 库 管理 系统 








2. 数据 表 
本 健康 系统 所 使 用 的 数据 表 以 字母 “tp” 开头 (小写)， 后 面 加 上 数据 包 相关 英文 单词 
或 缩写 见 表 8-2。 






































表 8-2 数据 表 
数据 表 名 称 iB 
tb_User 家 人 用 户 表 (存储 密码 和 权限 等 ) 
tb_Info 家 人 信息 表 (存储 主要 的 家 人 信息 ) 
tb_Test 家 人 测量 结果 表 (存储 测量 健康 值 ) 
th_Mac 家 中 仪器 使 用 情况 表 
































图 8-6 所 示 为 tb_User 其 在 SQL 2005 中 对 应 的 图 。 


th_User 
一 -| HE ETERNI HFE 
E UserID varcharf20) 


= Userame varchar20] 
= UserPwd varchar20) 
= Userright chart it) 


加 








图 8-6 数据 表 


3. FR 

本 健康 系统 所 使 用 的 字段 一 般 采 用 英文 单词 或 者 词组 命名 ， 如 找 不 到 专业 的 英文 单词 或 
词组 ， 可 以 用 相同 的 英文 单词 或 者 词组 代替 。 以 用 户 表 为 例 ， 其 字段 命名 见 表 8-3 ， 其 对 应 
的 SQL 图 如 图 8-6 所 示 。 





表 8-3 字段 命名 























字段 名 称 Hi 述 
UserID 家 人 编号 
UserName 家 人 和 名称 

UserPwd 家 人 所 使 用 的 密码 
UserRight 家 人 的 权限 








针对 健康 数据 的 需求 ， 所 设计 的 健康 数据 表 由 _Test 在 实际 数据 库 中 的 形式 如 图 8-7 
所 示 。 
其 中 ，hTestTime 代表 测试 时 间 ，hBloodHigh 代表 血压 的 最 高 值 ，hBloodHigh 代表 血压 
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ee a gn MD e Re a soe 
hEat 代表 有 无 吃 过 饭 (yT, n 没 吃 过 ) hSleep 代表 睡觉 时 间 ，hWake 代表 睡 醒 时 间 。 


























































































































[hTestTime hBloodHigh | hBloodLow [hSPOz hPulse |hEat_ [Sleep hwake = 
» 2008-6-1812:0... 133 77 99 64 Y 2008-6-17 0:00:00 2008-6-18 8:2 
2008-6-14 22:0... 146 92 ML 66 y 2008-6-14 0:30:00 2008-6-14 6:- 
2008-6-22 10:0... 121 77 a8 73 n 2008-6-22 0:30:00 2008-6-20 Si 
2008-6-23 17:1... 127 79 99 82 Y 2008-6-24 0:30:00 2008-6-23 5:2 
2008-6-24 11:4... 124 za 30 P77 n 2008-6-25 0:30:00 2006-6-24 ait 
2008-6-25 17:5... 127 58 se 30 Y 2008-5-25 0:00:00 2008-6-25 &:C| 
2008-6-26 9:16:00 126 sz 99 75 y 2008-6-27 0:15:00 2008-6-26 7:5 
2008-6-27 15:3... 135 Ba 33 73 Y 2008-6-27 0:00:00 2008-6-27 6:2 
2008-6-28 9:25:00 128 87 se 73 y 2008-6-28 0:00:00 2008-6-28 3:C 
2008-6-29 9:00:00 129 a0 38 Z4 y 2008-6-30 0:30:00 2008-6-29 9:¢ 
2008-6-30 9:25:00 127 75 39 63 Y 2008-6-30 23:0... 2008-6-30 9:0 
2008-6-19 12:1... 125 68 a7 az ¥ 2008-6-18 0:00:00 2008-6-19 B:C 
2008-6-20 8:51:00 95 so a9 75 ¥ 2008-6-20 23:5... 2008-6-20 7:2 
2008-6-21 11:5... 99 59 a3 68 Y 2008-5-22 1:40:00 2008-6-21 
2008-6-21 18:0... 98 55 99 67 Y 2008-6-22 1:40:00 2008-6-21 7:3 
2008-6-22 10:0... 98 64 99 78 y 2008-6-22 23:4... 2008-6-22 SIC 
2008-6-23 9:00:00 101 53 39 73 y 2008-6-23 23:4... 2008-6-23 7:< 
2008-6-23 11:5... 109 46 99 6s Y 2008-6-23 23:4... 2008-6-23 7:4 
2008-6-24 11:4... 100 54 99 67 y AEL 2008-6-24 7:2 
2008-6-24 22:0... 123 61 99 65 y AE 2008-6-24 7:2 
2008-6-25 11:5... 127 69 se 66 Y 2008-6-25 0:00:00 2008-6-25 7:2 
2008-6-26 9:16:00 104 54 39 75 y 2008-6-27 0:50:00 2008-6-26 7:< 
2008-6-20 14:5... 119 72 se 69 Y 2008-6-19 0:00:00 2008-6-20 SIC 
2008-6-27 12:0... 96 58 39 67 Y 2008-6-28 1:40:00 2008-6-26 7:5 
2008-6-28 8:56:00 96 48 a9 7 Y 2008-6-29 0:20:00 2008-6-28 7:< 











4 [ | » 





图 8-7 tb_Test 数据 表 


4. 存储 过 程 

为 了 提高 查询 效率 、 减 小 查询 复杂 度 ， 我 们 将 一 些 较 复 杂 的 查询 写成 存储 过 程 。 存 储 过 
程 命名 以 字母 “proc” 开 头 〈 小 写 ) ， 后 面 加 表示 该 存储 过 程 作 用 的 相关 英文 单词 或 缩写 ， 
见 表 8-4。 











表 8-4 存储 过 程 
环节 存储 过 程 名 称 说 y 












































登录 proc_UserValidate 验证 不 同类 型 用 户 的 登录 ， 并 返回 验证 状态 
家 人 proc_AddUserToHeal 为 健康 系统 中 添加 一 名 家 庭 成 员 
管理 proc_DelUserFromHeal 从 健康 系统 中 删除 一 名 家 庭 成 员 
编辑 proc_ModifyHealth 编辑 健康 记录 中 概要 信息 ， 新 添 或 更 新 记录 





























信息 proc_ModifyUser 编辑 用 户 信息 记录 部 分 ， 新 添 或 更 新 记录 
tt . . 








8.3 ”系统 的 主要 功能 模块 设计 与 实现 


系统 主 窗 体 主要 由 三 个 部 分 构成 ， 分 别 为 菜单 栏 、 导 航 菜 单 和 状态 栏 。 其 中 ， 在 制作 导 
航 菜单 时 ,使 用 了 第 三 方 控件 NavBarControl。 主 窗 体 的 运行 结果 如 图 8-1 所 示 。 

从 图 8-1 中 可 以 看 出 ， 该 家 庭 健康 保健 系统 主要 包括 六 个 功能 模块 ， 资 源 管 理 模块 、 家 
中 信息 管理 模块 、 统 计 分 析 模 块 、 用 户 管理 模块 、 系 统 维护 模块 和 帮助 模块 。 下 面 分 别 对 有 具 
体内 容 进行 详细 介绍 。 
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8.3.1 系统 登录 设计 与 实现 


系统 登录 主要 是 为 进入 该 系统 的 用 户 进行 身份 验证 ， 防 止 不 合法 的 用 户 使 用 该 系 
统 ， 并 对 通过 验证 的 用 户 进 行 权限 级 别 辨 别 ， 从 而 给 予 不同 的 操作 权限 。 窗 体 的 设计 
过 程 如 下 。 

新 建 一 个 Windows 窗 体 后 命名 为 frmLogin. cs， 主 要 用 于 实现 系统 登录 功能 ， 使 用 的 控件 
有 Label, ComboBox, TextBox, 、Button 。 通 过 对 其 参数 进行 设计 ， 从 而 得 到 以 下 的 登录 窗 体 ， 
如 图 8-8 所 示 。 


c8 asur 





arco: [FT 
E 


Pa G 


您 所 选择 的 用 户 权限 汶 : 


您 所 选择 的 用 户 椒 限 为 


a) 











图 8-8 登录 窗 体 
a) 普通 用 户 登录 情况 b) 管理 员 登 录 情况 

















图 8-8 所 示 的 登录 窗 体 根 据 输入 的 用 户 名 称 来 判断 不 同 的 用 户 级 别 。 其 实现 方法 是 : 首 
先 声 明 三 个 静态 全 局 变量 ， 分 别 用 于 记录 登录 用 户 的 名 字 、 密 码 和 权限 ， 然 后 声明 公共 类 
BaseOperate 和 OperateAndValide 的 两 个 全 局 对 象 ， 通 过 类 对 象 调 用 类 中 的 功能 。 


8. 3.2 管理 相关 设计 与 实现 


1. 用 户 管理 

用 户 管理 窗 体 主要 实现 对 家 庭 人 员 基 本 健康 信息 的 添加 、 修 改 、 保 存 和 删除 等 功能 。 在 
该 窗 体 中 ， 首 先 判断 的 是 家 人 的 信息 是 否 已 经 存在 ， 如 果 存 在 ， 则 不 显示 【添加 】 按 钮 ， 
用 户 只 能 对 已 经 存在 的 企业 信息 进行 修改 、 保 存 和 删除 操作 ; 否则， 显示 【添加 】 按钮， 
这 时 ， 用 户 可 以 进行 企业 的 添加 、 修 改 、 保 存 和 删除 操作 。 

用 户 信 息 管 理 窗 体 的 运行 结果 如 图 8-9 所 示 ， 对 其 密码 更 改 和 权限 设置 如 图 8-10 
所 示 。 

2. 健康 资料 管理 
健康 资料 管理 主要 用 来 记录 家 人 的 日 常 测量 健康 数据 ， 并 将 其 保存 在 数据 库 中 ， 便 
于 定时 进行 分 析 ， 实 现 数据 的 添加 、 修 改 、 删 除 和 查找 功能 。 而 家 人 资料 管理 用 来 将 家 
人 的 基本 情况 信息 添加 到 数据 库 中 ， 并 同样 可 以 实现 数据 的 添加 、 修 改 、 删 除 和 查找 功 
能 。 该 种 窗 体 中 使 用 了 公共 类 OperateAndValidate 中 的 相关 方法 分 别 对 邮政 编码 、 电 话 号 
人 码 、E-mail 地 址 格式 进行 验证 ， 只 有 在 全 部 验证 都 通过 时 ， 才 可 以 进行 健康 信息 的 添加 、 
修改 和 保持 操作 。 


























A} 家 庭 健康 保健 系统 
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So e 








资料 管理 [家 中 信息 管理 [E] 














datata APSR] AHED] ARH] 





























新 密码 





图 8-10 ”进行 操作 用 

















确认 新 密码 
sa) vata) 











资料 管理 [4] 
家 中 信息 管理 a CERA 
Sits 四 {| a BX | sie 
pee ra 用 户 基本 信息 
一 用 户 编号 
AERP a 
{ 用 户 密码 
帮助 六 












































www.ustb.edu.cn 












| 操作 用 户 : mr ERRE : 2009 年 9 月 18 日 10:14:58 || 北 京 科技 大学 制作 || www.ustb.edu,cn 


—— 








a) 





























418-9 ”用 户 管 

















户 的 密码 修改 和 超级 管理 员 权 限 设置 
a) 更 改 密码 框 b) 权限 设置 杠 















































家 人 的 资料 管理 界面 如 图 8- 11 所 示 。 其 中 ， 联 系 电 话 输入 错误 的 时 候 ， 给 出 相应 提示 ， 
点 击 红 色 的 提示 处 即 可 看 到 对 输入 格式 的 提示 消息 。 
健康 信息 管理 界面 同 用 户 资料 管理 界面 类 似 ， 在 这 不 再 展开 论述 
康信 息 管理 界面 。 


8.3.3 统计 分 析 模 块 的 设计 与 实现 


本 节 通 过 使 用 BingdingNavigator 控件 和 CrystalReportViewer 控件 来 实现 统计 分 析 模 块 。 
其 中 ，BingdingNavigator 控件 用 来 执行 查找 、 退 出 和 选择 查询 条 件 操 作 ，CrystalReportViewer 
控件 用 来 形成 并 显示 家 人 的 健康 指标 分 析 报 表 。 
在 此 窗 体 中 ,通过 调用 公共 类 OperateAndValidate 中 的 CrystalReport ( ) 对 家 人 的 分 





， 如 图 8-12 所 示 是 健 
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a) SRR RAE N Slee 
资料 管理 [1] ”家 中 信息 管理 [e] Bits APS 。 系统 维护 ID] WEH] 
资料 管理 加 
| 家 中 信息 管理 5 a 用 户 资料 管理 
Bae A ag X | 查询 条 件 + XEF 
| = 用 户 基本 资料 
| 用 户 管理 A} | 用 户 编号 1000007 用 户 名 称 
系统 维护 加 性 al a 理 
帮助 [a] 所 尾行 业 血 型 
| 
用 户 来 源 | 北京 联系 电话 
身 ale em 邮政 蝙 码 (100083 
联系 地 址 | 海淀 区 志 新 小 区 E-mail |wang@126. com 
备注 
ii 
KHLO0O0001 
| ~~ | atoooooz 
‘KHLOOO0O3 
iodooooo4 
KHLO0000S 
| 
| 
| 
| 
HERP : mr | 登录 时 间 : 2009 年 9 月 18 日 10:14:58 | 北京 科 技术 学 制作 || www:ustb.edu,cn 
ae y a — N=! 
图 8-11 填写 中 出 现 违规 格式 时 的 提示 错误 
PER e A x — 
BE 。 家 中 信息 管理 [p] Hitara 。 用 户 管理 [LU] 。 系统 维护 [D] RH 
资料 管理 四 | 
家 中 信息 管理 [4] a 健康 信息 管理 
统计 分 析 [A] aog A X swat - XRF 
= 当日 健康 基本 信息 
puree = 录入 编号 [D31000005 wama [2008-8-14 12:12 
| 全 wee ER Oe RR A 
Eh S CEE] EFNA 

















ko 8 体 E 
mess 高 /低压 (123/45 
早起 时 间 mema [25:90 

备注 






























































[FARS E 高 低压 
151000001 2008-6-12 134/98 
151000002 2008-8-13 12:23 118/92 


























151000003 2008-6-12 12:10 124/82 





551000004 2008-6-13 12:17 123/86 























| 操作 用 户 : mr ERRE : 20099818A 10:14:58 | 北京 科技 大 学 制作 || www.ustb,edu,cn 








图 8-12 按照 标准 格式 填写 











析 报 表 进 行 数据 绑 定 ， 显 示 家 人 健康 的 变化 曲线 情况 ， 以 血压 值 为 例 ， 进 行 的 健康 曲线 分 析 
和 预测 如 图 8- 13 所 示 。 


8.3.4 系统 维护 及 帮助 的 设计 与 实现 


L 系统 维护 的 设计 与 实现 
系统 维护 窗 体 主要 进行 系统 中 数据 库 的 数据 备份 、 数 据 还 原 以 及 数据 清理 。 该 窗 体 的 设 
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A Rem RE - tenaaan] o al = za tele! z 
3 HHSEI RPMAEME 。 统计 分 析 [a] APR) KHA MAH -8x 
ES 回 | 
[Pas wile oS 
统计 分 析 回 | 
(meee 回 
ET E) 健康 指标 预测 分 析 
| 要 县 四 








一 个 星期 内 的 血压 罕 化 曲线 


























编号 为 ，KH1000001 HRP NEME 
[Bix |822 | #32 | #42 | BS | BOR | BIZ 


enn en el | 
71 69 72 71 16 77 79 














1 上 作用 户 ; me IBERIA + 2009 年 9 月 18 日 16:29:54 | 北京 科技 大 学 制作 || wwe ustb-eduen 


图 8-13 对 血压 值 进行 的 健康 分 析 与 预测 

















计 过 程 中 使 用 了 ofDialogFile 控件 ， 用 来 在 对 话 框 中 显示 文件 ， 从 而 进行 对 应 的 数据 备份 、 
数据 还 原 以 及 数据 清理 过 程 ， 图 8-14 所 示 为 数据 备份 过 程 ， 如 图 8-15 所 示 为 数据 还 原 


过 程 。 


| SH] RVESSEE Mittal APSR] Fien] MEH 





















































































| fm a 
[sn 
Papeete i 
用 户 管理 a 
Ges) EZA A 
EC 
EE 
pe 
a) T FON 
Ò 2003-3-.144 -组 学 习 资 料 
> (Gi history project i] 
> cays 
> a 
> skis 
> wer 
> OER k. 
4 | see + 
c) b) 





图 8-14 数据 备份 过 程 
a) 打开 数据 备份 框 b) 选择 要 备份 到 的 文件 夹 ec) 数据 备份 成 功 提示 

















出 | 








2. 帮助 的 设计 与 实现 
帮助 窗口 里 面 主要 实现 的 word 文档 的 建立 、 文 本 文件 的 建立 以 及 联系 我 们 和 窗口 的 水 
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平平 铺 和 垂直 平 铺 ， 其 中 ，this. LayoutMdi ( MdiLayout. TileVertical ) ; /垂直 平 铺 ; this. 
LayoutMdi (MdiLayout. TileHorizontal) ; // 水 平平 铺 ; 如 图 8-16 所 示 。 
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ee b 
HASSU ”家 中 信息 管理 [e] 。 统计 分 析 [a] ”用 户 党 理 [u] KAPD] AMH 
用 户 管理 查找 范围 I) : | Wim EI 
系统 维护 = | bok 
Wh 
mese || l 
TAD bak x 
文件 类 型 © bak files (bak) 
b) 
mr ee 





要 还 原 的 站 件 要 还 原 


原 成 功 ， 












CP) 数据 还 
we] 
9) d) 


图 8-15 数据 还 原 流程 
a) 选择 要 还 原 的 文件 b) 选中 要 还 原 的 备份 文件 c) 要 还 原 的 备份 文件 选择 d) 数据 还 原 成 功 提示 
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图 8-16 A FAYE Ef ACRE aH 
a) 垂直 平 铺 窗 b) 水 平平 铺 窗口 
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8.3.5 ”开发 过 程 中 应 用 的 关键 技术 


1. 使 用 session 变量 进行 用 户 身份 验证 

使 用 session 对 象 存储 特定 的 用 户 会 话 所 需 的 信息 。 当 家 人 在 此 健康 系统 的 应 用 程序 页 
之 间 跳 转 时 ， 存 储 在 Session 对 象 中 的 变量 不 会 清除 ， 而 家 人 在 应 用 程序 中 访问 页 面 时 ， 这 
些 变量 始终 存在 。 当 家 人 请 求 来 自 应 用 程序 的 Web 页 时 ， 如 果 该 用 户 还 没有 会 话 ， 则 Web 
服务 器 将 自动 创建 一 个 session 对 象 。 当 会 话 过 期 或 被 放弃 后 ， 服 务 器 将 终止 该 会 话 。 

2. 实现 对 数据 库 的 插入 、 删 除 和 修改 操作 

SQL 查询 是 主要 的 数据 库 操作 ， 里 面 最 常用 的 命令 是 SELECT 语句 ， 用 于 检索 数据 ; 
INSERT 语句 用 于 数据 的 搬入 ; DELECT 语句 用 于 数据 的 删除 ，UPDATE 语句 用 于 数据 的 更 
新 。 在 此 健康 保健 数据 库 中 同样 使 用 了 这 些 方法 。 

3. 水 蝇 报 表 的 实现 

本 系统 在 实现 健康 指标 统计 分 析 时 采用 了 水 晶 报表 ， 按 照 VS 中 设计 水 晶 报 表 的 步骤 设 
计 完 水 唱 报表 后 ， 需 要 在 Windows 应 用 程序 中 显示 。VS2005 中 基础 水 晶 报表 查看 器 ， 用 户 
可 以 通过 该 查看 器 在 Windows 应 用 程序 中 查看 以 及 创建 的 水 晶 报 表 。 本 系统 中 水 晶 报表 
(如 健康 预测 的 表示 图 等 的 实现 是 通过 自 定义 方法 CrystalReport ( ) 来 实现 的 。 





















































8.4 测试 





面向 数字 家 庭 的 健康 保健 数据 库 系 统 涉及 数据 库 的 重要 设计 步骤 一 一 加 载 测试 。 加 载 测 
试 工作 贯穿 于 整个 系统 测试 工作 的 全 过 程 ， 登 陆 、 用 户 管理 、 家 人 健康 信息 管理 等 操作 均 可 
视 为 对 数据 库 的 加 载 测试 工作 。 要 设计 出 一 个 好 的 系统 数据 库 ， 除 满足 系统 所 要 求 的 功能 
外 ， 还 必须 遵守 下 列 原则 : 基本 表 的 个 数 越 少 越 好 ， 主 键 的 个 数 越 少 越 好 。 键 是 表 间 连接 的 
工具 ， 主 键 越 少 ， 表 间 的 连接 就 越 简单 。 字 段 的 个 数 越 少 越 好 。 所 有 基本 表 的 设计 均 应 尽量 
符合 第 三 范式 。 数 据 库 的 设计 中 ， 如 何 处 理 多 对 多 的 关系 和 如 何 设计 主键 ， 是 两 个 有 着 较 大 
难度 、 需 要 重点 考虑 的 问题 。 

此 外 ， 在 编写 代码 的 过 程 中 我 们 也 遇 到 了 很 多 问题 ， 如 经 常会 碰 到 “未 将 对 象 引用 应 
用 到 对 象 的 实例 ”有 些 情况 是 未 给 对 象 赋 值 。 大 多 数 情况 下 ， 一 行 一 行 看 已 编写 好 的 代码 
很 难 找 出 错误 。 如 果 用 调试 的 话 ， 会 很 快 解决 错误 。 比 如 : 在 使 用 动态 控件 时 如 果 页 面 回 执 
HRE pageload 中 加 载 生 成 控件 的 过 程 ， 则 在 返回 的 页 面 上 未 加 载 动 态 控件 ， 这 个 时 候 去 看 
代码 是 很 不 容易 发 现 错误 的 ， 然 而 用 调试 的 话 会 很 快 解决 这 个 问题 。 所 以 在 写 代码 的 过 程 中 
使 用 调试 会 起 到 事半功倍 的 作用 。 

由 于 本 身 能 力 的 局 限 性 ， 所 以 编写 的 代码 ， 即 使 经 过 反复 检查 也 难免 出 错 。 所 以 在 本 阶 
段 力求 使 用 有 限 的 时 间 找 出 尽 可 能 多 的 错误 ， 力 求 系统 尽量 正确 。 在 本 系统 的 测试 中 ， 使 用 
了 黑 盒 法 〈 即 不 关心 程序 内 部 的 逻辑 结构 ， 而 是 根据 程序 的 功能 来 设计 来 检测 ) 请 一 位 不 
熟悉 本 系统 的 人 来 进行 随意 性 的 操作 ， 打 破 习 惯 的 操作 顺序 ， 从 中 发 现 错误 ， 在 此 阶段 系统 
的 大 量 错误 得 到 了 改正 。 

在 开发 调试 过 程 中 的 主要 模块 : 

(1) 数据 库 连 接 模 块 
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将 数据 库 连 接 的 程序 独立 出 来 ， 成 为 一 个 单独 的 模块 ， 其 他 程序 若 要 连接 数据 库 ， 直 接 
调用 此 模块 即 可 ， 不 仅 大 大 减轻 了 开发 者 的 编码 劳动 量 ， 而 且 大 大 提高 了 代码 的 可 读 性 和 开 
发 效率 。 

(2) session 保密 传输 

在 数据 的 传输 过 程 中 ， 开 发 者 往往 采用 隐藏 域 进行 ， 但 隐藏 域 的 安全 性 不 是 很 好 ， 经 常 
被 人 窃取 ， 但 session 在 传输 过 程 中 没有 此 缺点 ; 它 可 以 安全 地 传输 数据 。session 的 采用 ， 
大 大 提高 了 系统 的 安全 性 。 

(3) 异常 处 理 

所 有 异常 类 都 继承 C# 内 建 的 位 于 System 名 字 空 间 的 Exception 异常 类 。 本 程序 中 采用 
try, catch 来 管理 C# 异 常 处 理 ， 用 这 些 关 键 字 组 成 一 个 相互 关联 的 子 系统 ， 把 要 监视 异常 的 
程序 语句 包含 在 一 个 try 块 中 ， 如 果 try 块 出 现 异 常 ， 此 异常 就 会 被 抛 出 。 使 用 catch 块 就 可 
以 捕获 到 此 异常 ， 并 可 以 合理 地 处 理 异 常 。C# 运 行 系统 会 自动 抛 出 系统 产生 的 异常 。 它 以 
可 控 的 结构 化 方式 来 处 理 运行 期 错误 。 其 简单 、 直 接 的 实现 方法 大 幅 提 高 了 运行 效率 。 

到 此 ， 一 个 完整 的 家 庭 健康 管理 系统 就 创建 完毕 了 。 本 例 中 介绍 了 系统 的 整体 设计 ， 明 
确 了 系统 应 具备 的 功能 及 其 权限 分 配 ， 明 确 了 搭建 系统 的 业务 流程 分 析 ， 明 确 了 系统 的 功能 
结构 及 系统 的 应 用 界面 设计 结构 。 然 后 ， 根 据 系统 的 需求 详细 设计 系统 ， 其 中 包括 系统 数据 
库 的 设计 。 而 后 对 整体 的 主要 功能 模块 进行 了 设计 。 最 后 ， 总 结 了 开发 过 程 中 所 应 用 的 关键 
技术 。 整 体 思 路 使 得 健康 保健 数据 库 系 统 的 脉络 清晰 明了 。 
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8-1 简 述 信息 管理 技术 的 发 展 历程 。 

8-2 ”数据库 的 定义 是 什么 。 

8-3 数据 库 模型 有 几 类 ? 分 别 是 什么 ? 有 什么 区 别 ? 

8-4 访问 数据 库 的 Transact-SQL 语言 的 分 类 有 哪些 ? 

8-5 关系 型 数据 库 中 ， 表 的 主键 和 外 键 的 作用 是 什么 ?” 试 举例 说 明 。 
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第 9 章 知识 库 技术 


“智能 需要 知识 ”一 一 这 是 人 们 对 人 工 智能 早期 没有 走出 象牙 塔 反思 后 作出 的 结论 。 事 
实 上 ， 作 为 智能 的 基础 ， 知 识 是 不 可 或 缺 的 。 在 情感 机 融 人 的 设计 中 ， 要 保证 情感 机 器 人 具 
有 智能 ， 就 需要 情感 机 器 人 有 知识 。 何 为 知识 ? 如 何 使 得 情感 机 器 人 表现 出 具有 知识 的 能 
呢 ? 我 们 了 解 到 数据 库 是 用 来 对 数据 进行 存储 、 查 询 、 修 改 等 操作 的 ， 那么 对 于 存储 在 情感 
机 器 人 内 部 的 知识 来 讲 ， 同 样 也 需要 一 个 知识 库 来 对 知识 进行 操作 ， 而 知识 库 与 数据 库 的 区 
别 又 是 什么 呢 ? 本 章 就 以 人 与 情感 机 器 人 交互 为 背景 ， 于 绕 这 些 问题 进行 讨论 。 


9.1 知识 库 























9.1.1 知识 库 的 概念 


首先 先 介绍 一 下 什么 是 知识 库 ? 从 存储 知识 的 角度 来 看 ， 以 描述 型 方法 来 存 贮 和 管理 知 
识 的 机 构 叫 做 知识 库 。 知 识 库 是 事实 、 规 则 和 概念 的 集合 。 事 实在 库 中 是 短期 信息 ， 这 种 信 
息 在 与 用 户 交 互 过 程 中 会 迅速 改变 。 规 则 是 从 专家 们 的 经 验 中 总 结 出 来 的 知识 ， 是 长 期 信 
息 。 概 念 包含 信念 和 常识 。 

如 果 一 个 系统 具有 能 用 计算 机 所 存储 的 知识 对 输入 的 数据 进行 解释 ， 并 有 对 其 进行 验证 
的 功能 ， 则 称 该 系统 为 知识 库 系统 。 

按照 以 上 定义 ， 知 识 库 系统 中 的 知识 ， 是 该 系统 在 自身 进行 推理 过 程 中 所 利用 的 信息 ， 
而 不 是 提供 给 系统 使 用 者 的 信息 。 因 此 ， 知 识 库 系 统 与 数据 库 系统 不 同 之 处 就 在 于 ， 它 并 非 
向 用 户 直接 提供 检索 的 信息 ， 而 是 提供 根据 输入 的 数据 信息 使 用 知识 进行 判断 分 析 的 结果 。 

知识 库 是 数据 库 理 论 研究 的 产物 。 数 据 库 技术 从 其 诞生 至 今 已 经 有 几 十 年 的 历史 ， 数 据 
库 技术 与 网 络 、 人 工 智能 、 软 件 工程 相 结 合 ， 形 成 新 的 发 展 方向 ， 其 中 人 工 智 能 技术 和 数据 
库 技术 相 结合 产生 了 知识 库 技 术 。 正 像 Codd 所 说 : “数据 库 就 是 把 数据 从 应 用 程序 中 分 离 
出 来 ， 交 给 系统 程序 处 理 。” 知识 库 类 似 地 把 知识 从 应 用 程序 中 分 离 出 来 ， 并 交 由 知识 系统 
程序 进行 处 理 。 数 据 库 和 知识 库 有 许多 相同 的 地 方 ， 它 们 都 研究 大 容量 信息 处 理 的 理论 和 时 
间 ; 两 者 都 具有 可 恢复 性 、 安 全 性 、 保 密 性 、 一 致 性 等 问题 ; 数据 库 的 大 部 分 管理 技术 对 知 
识 库 同样 适用 。 但 它们 之 间 也 存在 一 些 明 显 的 区 别 ， 可 以 列 出 以 下 几 点 : 

1) 数据 库 中 的 信息 是 历史 的 、 静 态 的 。 而 知识 库 中 的 信息 则 既 有 过 去 的 又 有 现在 的 ， 
相 比 之 下 ， 知 识 库 中 的 信息 更 多 是 动态 的 ， 其 中 的 规则 部 分 总 是 在 力图 填充 缺少 的 信息 。 

2) 数据 库 主要 人 处理 数据 ， 数 据 的 含义 是 确定 的 ， 知 识 库 主 要 处 理 知识 ， 而 总 是 包含 大 
量 含 义 不 明 确 的 概念 和 不 确定 的 联系 。 

3) 数据 库 对 数据 的 处 理 主 要 依靠 数据 操作 语言 ， 这 种 是 确定 的 。 知 识 库 对 知识 的 处 
理 ， 主 要 依赖 推理 方式 ,使 用 逻辑 程序 设计 语言 ， 这 种 语言 是 不 确定 的 。 

4) 数据 库 同 外 界 的 联系 通过 数据 通信 子 系统 ， 但 知识 库 则 通过 包含 在 其 内 部 的 智能 接 
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口 来 实现 与 外 部 通信 。 
9.1.2 ”知识 的 概念 


了 解 了 知识 库 的 概念 ， 那 么 什么 是 知识 呢 ? 我 们 从 知识 与 数据 、 符 号 、 信 息 的 区 别 与 联 
系 上 解释 一 下 知识 的 内 涵 。 

数据 是 对 事实 的 一 种 表达 形式 ， 它 包括 数字 、 文 字 和 图 形 。 符 号 是 一 种 复杂 的 数据 类 
型 ， 在 符号 中 除了 包含 常规 的 数据 内 容 外 ， 还 包含 思想 、 概 念 等 人 类 知识 。 数 据 与 符号 都 可 
以 用 人 工 或 自动 化 装置 进行 处 理 。 凡 是 对 人 有 用 的 ， 能 够 影响 人 们 行为 的 数据 和 符号 称 为 信 
息 ， 信 息 是 通过 对 数据 或 符号 的 处 理 而 产生 的 。 知 识 是 人 类 对 客观 世界 的 认识 ， 是 人 们 在 生 
活 、 劳 动 和 与 自然 界 作 生存 斗争 中 在 自然 、 物 质 的 认识 基础 上 ， 升 华 成 为 系统 的 信念 和 经 
验 。 例 如 38°C 是 一 种 数据 ， 如 果 表 示 一 个 人 的 体温 的 话 ， 它 就 成 为 一 种 信息 。 对 于 医生 或 
者 稍 有 医学 常识 的 人 来 说 ， 这 个 人 正在 发 烧 ， 需要 治疗 ， 此 信息 就 成 为 一 种 知识 。 符 号 、 数 
据 、 信 息 和 知识 形成 一 个 层次 ， 符 号 和 数据 在 底层 ， 知 识 在 最 上 面 ， 数 据 是 信息 的 载体 ， 信 
息 是 数据 所 表达 的 客观 事实 。 数 据 经 过 一 系列 ， 如 归纳 、 综 合 、 比 较 、 分 类 、 联 想 或 计算 等 
数据 处 理 过 程 成 为 信息 ， 以 使 人 们 容易 理解 数据 的 意义 。 在 数据 和 信息 之 上 的 是 知识 。 知 识 
是 人 们 通过 实践 认识 到 的 客观 世界 规律 性 的 东西 。 知 识 是 信息 经 过 加 工 治理 、 解 释 、 挑 选 和 
改造 而 成 的 ， 是 人 们 进行 决策 的 基础 。 数 据 是 资源 ， 数 据 处 理 的 可 计算 化 将 有 助 于 提高 数据 
资源 的 利用 率 和 获得 高 质量 的 信息 。 知 识 是 一 种 更 宝贵 的 资源 ， 知 识 的 推广 和 使 用 可 以 产生 
巨大 的 经 济 效益 。 因 此 ， 保 存 和 推广 知识 是 一 项 非常 有 意义 的 工作 。 传 统 的 知识 转移 通过 学 
习 和 传授 来 实现 ， 通 常 需 要 较 长 的 时 间 周 期 。 把 知识 形式 化 并 存 人 计算 机 中 ,知识 的 转移 变 
得 简单 易 行 ， 缩 短 时 间 周 期 ， 并 为 更 多 的 人 所 用 ， 使 知识 能 为 人 类 的 文明 发 挥 更 大 的 作用 。 


9.1.3 知识 的 分 类 
在 人 工 智能 系统 中 ， 知 识 分 为 以 下 几 类 : 事实 、 规 则 、 元 知识 、 常 识 性 知识 ， 如 图 9-1 
所 示 。 了 解 知识 的 分 类 是 建立 一 个 完整 的 情感 机 器 人 知识 库 所 必需 的 。 


人 工 智 能 系统 


事实 : 关于 对 象 和 物体 的 知识 ; 静态 的 、 为 人 们 
共享 的 、 可 公开 获得 的 、 公 认 的 知识 ; 属于 底层 
知识 


























































规则 : 有 关 问 题 中 与 实务 的 行动 、 动 作 相 联系 的 
因果 关系 的 知识 ; 动态 的 知识 ; 常 以 “如 果 …… 
那么 ……” 的 形式 出 现 







元 知识 : 有 关 知 识 的 知识 ， 是 知识 库 中 的 高 层 知 
识 ; 包括 怎样 使 用 规则 、 解 释 规 则 、 校 验 规则 、 
解释 程序 结构 等 知识 










常识 性 知识 : 普遍 存在 而 且 被 普遍 认识 了 的 客观 
事实 类 知识 ; 证 你 们 共有 的 知识 





图 9-1 人 工 智 能 系统 中 知识 的 分 类 
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知识 库 中 的 知识 ， 按 其 在 智能 程序 求解 过 程 中 的 作用 ， 通 常 可 分 为 四 类 : 事实 知识 、 规 
则 知识 、 控 制 知识 、 元 知识 ， 如 图 9-2 所 示 。 


知识 库 系 统 


事实 知识 : 有 关 问 题 环境 的 一 些 事实 的 知识 ; 党 
以 “…… 是 ……” 的 形式 出 现 ， 如 事物 的 分 类 、 
属性 、 事 物 间 的 关系 等 ; 属于 底层 知识 

























规则 知识 : 有 关 问 题 中 与 事物 的 行动 或 动作 相关 
联 的 因果 关系 的 知识 ; 动态 的 ; 常 以 “如 果 …… 








控制 知识 : 有 关 问 题 的 求解 步 又、 技巧 性 知识 ， 
告诉 怎么 做 一 件 事 ， 也 包括 当 多 个 动作 同时 被 激 
活 时 应 选用 哪个 动作 来 执行 的 知识 。 











元 知识 : 有 关 知 识 的 知识 ， 属 于 高 层 知识 ; 包括 
如 何 使 用 规则 、 解 释 规 则 、 校 验 规则 、 解 释 程序 
结构 等 知识 ; 有 时 与 控制 知识 是 有 重叠 的 





图 9-2 知识 库 系统 中 知识 的 分 类 


9.1.4 知识 的 存在 与 获取 


了 解 了 知识 的 分 类 方式 ， 还 需要 讨论 一 下 知识 的 存在 方式 ， 见 表 9-1。 
表 9-1 知识 的 存在 方式 






































编号 知识 的 存在 方式 
1 专家 的 头脑 中 ， 如 经 验 等 
2 隐藏 在 数据 库 中 的 模式 
3 各 种 案例 〈 成 功 的 、 失 败 的 ) 
4 文档 资料 ， 如 书籍 、 论 文 等 各 种 文献 ， 以 及 万 维 网 等 
5 人 工 智能 中 的 规则 、 框 架 、 谓 词 等 
对 于 知识 存在 的 各 种 方式 ， 我 们 可 以 有 相应 的 方法 来 获取 知识 。 这 就 引入 了 知识 获取 的 


概念 。 

知识 获取 包括 将 已 获取 的 知识 ， 通 过 某 种 推理 或 学 习 机 制 产 生 新 的 知识 ， 即 机 器 学 习 
(Machine Learning) ， 以 及 对 已 有 知识 的 精炼 和 一 致 性 检测 等 ， 即 所 谓 的 知识 求 精 ( Knowl- 
edge Refinement) 。 

知识 获取 的 任务 主要 包括 以 下 几 个 方面 : 

1) 从 领域 专家 或 书本 上 获取 知识 ， 并 对 其 理解 、 选 择 、 分 析 、 抽 取 、 总 结 和 组 织 挟 

2) 对 已 有 的 知识 

3) 从 已 有 的 知识 中 通过 学 习 产 生 新 的 知识 ， 如 采用 推理 方法 等 ,包括 从 外 界 学 习 新 
知识 ， 

4) 检测 并 消除 已 有 知识 的 矛盾 性 和 宛 余 性 ， 保 持 已 有 知识 的 一 致 性 和 完整 性 约束 等 。 

一 般 来 说 ， 知 识 获取 有 三 种 方式 : 人 工 获取 、 半 自动 获取 和 自动 获 了 到。 所 谓 的 人 工 获取 
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就 是 依靠 知识 工程 师 与 专家 的 交流 ， 观 察 专家 的 工作 方式 等 来 获取 知识 ; 而 自动 获取 是 基本 
上 不 需要 人 们 的 参与 ， 如 采用 机 器 学 习 等 相关 的 技术 ; 半自动 获取 是 知识 工作 者 或 知识 工程 
师 在 软件 工具 的 辅助 下 获取 知识 ， 这 是 目前 研究 中 应 用 最 多 的 一 种 知识 获取 方式 ， 主 要 是 从 
数据 库 和 文本 中 获取 。 从 数据 库 中 获取 知识 ， 实 际 上 就 是 采用 机 天 学 习 算 法 来 进行 的 ， 这 些 
算法 在 数据 挖 据 中 得 到 了 较 多 的 应 用 。 如 遗传 算法 、 神 经 网 络 和 决策 树 、 粗 糙 集 理论 和 模糊 
聚 类 等 。 


9.1.5 知识 的 表示 方法 


知识 表示 是 研究 在 计算 机 中 如 何 使 用 最 合适 的 形式 对 系统 中 所 需要 的 各 种 知识 进行 组 
织 ， 一 个 好 的 知识 表示 方法 应 该 具备 以 下 性 质 : 

1) 表达 充分 性 : 具备 确切 表达 有 关 领 域 中 各 种 知识 的 能 

2) 推理 有 效 性 ， 能 够 与 高 效率 的 推理 机 制 密切 结合 ， 支 持 系统 的 控制 策略 。 

3) 操作 维护 性 : 便于 实现 模块 化 和 检测 出 矛盾 知识 及 宛 余 知识 ,便于 知识 的 更 新 和 知 
识 库 的 维护 。 

4) 理解 透明 性 : 知识 的 表示 必须 便于 人 们 的 理解 。 

目前 人 工 智 能 领域 中 比较 热门 的 知识 表示 方法 主要 有 过 程 表 示 法 、 逻 辑 表示 法 、 产 生 式 
表示 法 、 语 义 网 络 表 示 法 、 框 架 和 脚本 、 面 向 对 象 表 示 法 、 人 工 神经 网 络 中 的 隐 性 知识 等 。 
现在 ， 随 着 问题 领域 的 扩大 和 问题 复杂 度 的 提高 ， 单 一 的 使 用 一 种 知识 表示 方法 往往 不 能 起 
到 很 好 的 效果 ， 因 此 近 些 年 来 复合 型 的 知识 表示 方法 越 来 越 多 的 应 用 到 人 工 智能 领域 ,尤其 
是 专家 系统 领域 。 表 9-2 列 出 了 目前 较 热 门 的 集中 知识 表示 方法 的 优 缺点 ， 在 各 个 背景 下 ， 
可 以 采取 与 实际 情况 相应 的 知识 表示 方法 构建 知识 库 。 
表 9-2 知识 的 表示 方法 
优 点 He 点 




















wk 
ke 








效率 高 ， 用 于 表示 过 程 性 知识 ， 可 以 避免 选择 和 匹 
配 无 关 的 知识 ， 也 不 需要 跟踪 不 必要 的 路 径 
过 程 表示 法 控制 系统 容易 设计 

易于 知识 表示 的 模块 化 和 参数 化 ， 特 别 是 求解 某 些 
关于 数值 运算 的 问题 


a 








不 善于 表示 非 过 程 性 知识 
不 易 修改 添加 新 知识 














由 于 缺乏 组 织 原 则 ， 使 得 知识 库 难 
































符号 简单 ， 有 严格 的 形式 定义 
迎 辑 表示 法 dn aa 由 于 是 弱 证 明 过 程 ， 当 事实 的 数目 
i 增 大 时 ， 可 能 会 产生 组 合 爆 炸 


表示 内 容 与 推理 过 程 分 离 

















系统 中 规则 难以 保持 不 重复 
黄 块 化 ， 可 以 提供 高 精度 的 信息 (事实 和 规 风 
产生 式 表示 法 人 致 降低 执行 效率 


易于 表示 启发 性 知识 
ee 需要 解决 一 致 性 和 完整 性 的 问题 ， 
缺乏 形式 化 描述 能 
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(2) 
类 型 优点 缺 点 
把 各 个 事物 有 机 的 联系 起 来 ， 能 比较 正确 地 反映 人 所 表示 的 知识 都 是 关系 知识 ， 对 于 
类 对 客观 事物 本 质 的 认识 ， 表 达 层 次 关系 能 力 很 强 更 高 层 的 知识 ， 如 具有 时 间 因 素 的 知 
可 以 方便 的 追溯 关系 ， 能 简单 准确 地 表示 出 重要 的 | 识 、 意 念 等 ， 实 现 比较 复杂 
语义 网 络 表示 法 | 联系 通过 对 网 络 进行 操作 得 到 的 推理 并 
能 再 在 网 络 层 中 建立 特性 继承 关系 非 都 能 有 效 
直观 清晰 ， 便 于 理解 ， 并 适用 于 不 确定 性 推理 需要 强 有 力 的 组 织 原 则 指导 搜索 ， 
具有 联想 性 否则 将 陷入 无 穷 支 路 
人 不 容易 归纳 新 情况 
它 适 用 于 计算 机 处 理 ， 表 达能 力 强 ， 容 易 添 加 情形 志 达 的 许多 知识 在 一 定 程度 上 脱离 
框架 和 脚本 具有 继承 性 和 结构 性 编程 困难 
以 一 种 集中 注意 力 并 且 易 于 回顾 、 推 理 的 方法 组 织 
不 便于 推理 
知识 
模块 性 ， 一 个 对 象 是 可 以 独立 存在 的 实体 
继承 性 ， 子 类 可 继承 父 类 的 数据 和 操作 使 用 面向 对 象 方法 开发 的 系统 占用 
封装 性 ， 对 象 是 封装 的 数据 和 操作 硬件 空间 较 大 ， 运 行 时 间 开 销 也 大 
面向 对 象 表示 法 多 态 性 ， 使 得 软件 设计 便于 抽象 化 ， 增 强 了 系统 的 解决 的 是 规模 较 大 、 问 题 领域 较 复 
智能 型 杂 的 课题 ， 因 此 对 软件 编制 人 员 和 系 
易 维护 性 ， 对 象 实现 了 抽象 和 封装 ， 使 得 错误 具有 | 统 分 析 人 员 的 素质 有 较 高 的 要 求 
局 限 性 ， 不 会 传播 ， 便 于 检测 和 修改 
人 工 神经 网 络 a ee ee ATARA M Malia 
中 的 隐 性 知识 便于 实现 知识 的 自动 获取 ， 能 够 自 适应 环境 的 变化 ”| 个 结果 ， 不 清楚 推理 过 程 ， 因 此 解释 
实现 了 知识 表示 、 存 贮 和 推理 三 者 融 为 一 体 的 表示 | 较 难 








9.2 虚拟 管家 知识 库 实例 


本 章 以 情感 机 器 人 与 人 和 谐 交 互 为 背景 来 研究 知识 。 我 们 以 虚拟 管家 为 例 来 介绍 。 前 面 
我 们 介绍 了 知识 的 概念 、 分 类 、 存 在 、 获 取 和 表示 方法 ， 下 面 我 们 就 来 演示 一 下 在 虚拟 管家 
中 ， 怎 样 才能 利用 知识 表示 出 情感 的 因素 。 在 语音 交互 中 ,我 们 基于 文本 知识 库 进 行 研究 ， 
背 鉴 问答 系统 的 形式 ， 实 现 了 基于 文本 知识 库 的 问答 式 人 机 语音 交互 功能 。 


9.2.1 HREN 
以 前 我 们 实现 的 人 机 语音 交互 是 基于 全 匹配 的 ， 例 如 ， 当 用 户 询问 虚拟 管家 ; “ENS 


年 多 大 啦 ?” 通 过 语音 识别 出 “宝贝 今年 多 大 啦 ”， 然 后 在 数据 信息 表 中 进行 匹配 ， 得 出 
“三 岁 半 ” 的 回答 。 整 个 过 程 基 本 上 就 是 简单 的 数据 库 查 表 ， 冷 冰冰 的 回答 只 能 得 到 一 定 的 
言 息 ， 只 是 在 和 机 带 人 对 话 ， 根 本 无 法 通过 图 灵 测 试 。 

所 谓 基于 文本 知识 库 的 问答 式 人 机 语音 交互 ， 是 在 语音 识别 的 基础 上 ， 对 识别 文本 进行 
句法 分 析 ， 并 将 数据 库 中 的 数据 表 进 行 层次 提升 ， 按 照 一 定 的 规则 结构 形成 简单 的 知识 库 。 
例如 ;用户 还 是 询问 虚拟 管家 : “宝贝 今年 多 大 啦 ?” 通 过 语音 识别 出 “宝贝 今年 多 大 啦 ”， 
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然后 先进 行 句法 分 析 ， 得 出 一 些 相关 信息 ， 如 : 主题 是 “询问 数量 ”， 对 象 是 “宝贝 ” ， 内 
容 是 “多 大 ”。 最 后 根据 分 析出 的 信息 ， 查 找 知 识 库 ， 得 到 答案 。 

显然 基于 文本 知识 库 的 问答 式 人 机 语音 交互 更 加 智能 、 灵 活 ， 对 数据 库 的 依赖 程度 小 ， 
抛弃 了 完全 匹配 的 不 利 因素 ， 不 仪 更 加 符合 人 机 交互 的 原则 ， 也 使 得 人 与 虚拟 的 情感 机 器 人 
交流 时 更 加 流畅 ， 更 加 人 性 化 。 下 面 就 对 基于 文本 知识 库 的 问答 式 人 机 语音 交互 进行 详细 的 


介绍 。 


9.2.2 功能 的 实现 

1. 词法 分 析 

词法 分 析 的 过 程 就 是 将 连贯 的 自然 语言 分 解 成 一 个 个 义 元 组 成 的 义 元 串 ， 并 且 为 每 个 义 
元 标注 它 的 属性 ， 义 元 可 以 是 词语 、 单 字 或 者 短语 。 要 完成 这 样 的 过 程 需要 一 个 十 分 大 的 语 
料 库 ， 如 各 类 词典 、 处 理 歧义 的 规则 库 、 词 性 标注 的 规则 库 和 短语 识别 的 规则 库 。 具 体 来 说 
由 自动 分 词 和 词性 标注 两 部 分 组 成 。 

自动 分 词 技术 比较 成 熟 ， 到 目前 为 止 共有 十 多 种 方法 ， 如 最 大 匹配 法 、 逆 向 最 大 匹配 
法 、 逐 词 遍 历 匹 配 法 、 联 想 一 回溯 法 等 等 。 在 中 文 词法 分 析 方 面 ， 由 中 科 院 计算 所 张 华 平 、 
刘 群 带领 的 团队 研究 所 开发 的 ICTCLAS (Institute of Computing Technology, Chinese Lexical 
Analysis System ) 系统 具有 较 高 的 分 词 准确 率 ， 该 系统 采用 的 是 多 层 隐 马尔 可 夫 模 型 ， 对 原 
有 的 隐 马 模型 进行 扩展 ， 将 模型 分 别 应 用 到 原子 切 分 、 简 单 和 复杂 的 未 登录 词 识别 及 基于 类 
的 隐 马 尔 可 夫 分 词 等 多 个 层面 上 。ICTCLAS 由 C ++ 语 言 实 现 ， 提 供 了 JAVA, Delphi 等 接 
口 ， 方 便 其 他 应 用 程序 进行 调用 。 本 功能 模块 的 词法 分 析 采 用 ICTCLAS 自动 分 词 和 词性 标 
注 程序 。 

2. 确定 问 名 类 型 

确定 问 句 的 类 型 即 进行 问题 分 类 ， 也 就 是 根据 问 句 的 内 容 确 定 问 句 的 语义 类 别 。 问 题 分 
类 主要 有 两 大 作用 : 

问题 分 类 可 以 大 大 化 简 候 选 答案 的 集合 。 例 如 当 问 句 是 “北京 科技 大 学 在 哪里 ?” 通 过 
分 类 可 以 知道 这 是 一 个 询问 地 点 的 问 句 ， 就 可 以 将 不 是 关于 “地 点 ”的 答案 过 滤 掉 。 

问题 分 类 还 可 以 为 答案 抽取 提供 抽取 策略 。 

根据 数字 家 庭 环境 中 虚拟 管家 的 日 常生 活 对 话 ， 我 们 将 为 问题 分 为 6 种 ， 见 表 9-3。 

表 9-3 六 种 对 话 情景 














































































































问 句 类 型 Be 问 ial 例 名 
询问 人 i 是 谁 发 明了 计算 机 
询问 时 间 什么 时 候 / 何 时 / 哪 年 …… 今天 妈妈 什么 时 候 下 班 
询问 数量 多 少 / 儿 /多 大 /多 高 …… 宝贝 今年 多 大 啦 
询问 定义 是 什么 /什么 是 什么 是 宇宙 
询问 地 点 或 位 置 哪里 /什么 地 方 北京 科技 大 学 在 哪里 

询问 原因 为 什么 天 空 为 什么 是 蓝 色 的 

3. 针对 间 句 类 型 生成 向 模 

为 了 避免 复杂 、 重 复 的 词法 分 析 、 句 法 分 析 和 语义 分 析 ， 将 上 述 6 种 问 句 类 型 生成 一 定 
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的 句子 模型 ， 并 按照 存储 的 方式 放 在 数据 表 中 ， 供 匹配 之 用 。 如 询问 人 的 一 个 句 模 为 rvn， 
其 中 r+ 表示 询问 人 是 的 疑问 词 ，v 表示 动词 ，n 表示 名 词 。 当 询问 “ 谁 发 明了 计算 机 ” 则 与 
该 句 模 匹配 ， 直 接 在 询问 人 的 答案 表 中 查找 与 动词 “发 明 ” 和 和 名词“ 计算 机 ”两 者 有 关 的 
名 词 并 作为 结果 。 

4. 关键 词 提取 

在 提取 关键 词 之 前 首先 进行 预 处 理 ， 即 去 除 停 用 语 与 客 套 语 ， 去 除 一 些 不 必要 的 语气 
词 等 。 

对 于 基于 关键 词 的 问 句 处 理 方法 来 说 关键 词 代表 了 问 句 的 主要 含义 ， 提 取 关 键 词 对 理解 
问 句 语义 至 关 重 要 。 一 般 来 说 名 词 、 动 词 、 形 容 词 、 限 定性 副词 在 问 句 中 充当 关键 词 的 几率 
较 大 ， 但 在 实际 应 用 中 可 以 把 除了 疑问 词 以 外 的 大 部 分 词语 作为 关键 词 。 关 键 词 按照 词性 的 
不 同 在 检索 时 被 赋予 不 同 的 权重 ， 权 重 从 大 到 小 依次 为 名 词 、 限 定性 副词 、 形 容 词 、 动 词 。 

5. 句 模 匹 配 

将 处 理 后 的 问 句 与 句 模 进行 比较 ， 根 据 匹 配 到 的 句 模 信 息 在 结构 知识 库 中 得 到 答案 。 


9.2.3 功能 的 实例 


1. 询问 人 (关键 词 : 谁 ) 

询问 人 的 问 句 类 型 我 们 共 建 立 了 三 个 句 模 匹配 规则 : 

规则 1: nvr 例 : 贺 杰 是 谁 呀 ? 

规则 2: rm Hl: 是 谁 发 明了 计算 机 ? 

规则 3; rv Bil, 家 里 周末 谁 做 饭 呀 ? 

图 9-3 所 示 为 “nvr” 句 模 匹 配 规则 的 例子 ， 在 此 种 句 模 规则 下 ， 我 们 还 能 询问 虚拟 管 
“知道 刘翔 是 谁 吗 ?”， 如 图 9-4 所 示 。 
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meom [Pa OAN | 
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图 9-3 询问 人 “nvr” 规 则 








2. 询问 时 间 (关键 词 : 什么 时 候 、 哪 年 ) 

询问 时 间 的 问 句 类 型 我 们 共 建 立 了 四 个 句 模 匹配 规则 . 
规则 1: nny 例 : 今天 妈妈 什么 时 候 下 班 ? 

规则 2: nmv fil, 妈妈 什么 时 候 去 日 本 出 差 ? 
规则 3: nrqv Bil; 和 爷爷 哪 年 退休 的 ? 

规则 4: nrqvn 例 : 叔叔 哪 年 去 的 美国 ? 


167 


sr EE El te 
证 让 二 ? FA 1- 确 定 问题 类 型 | 
shee Bin Hin v Wr Dry Ffw 2- 词 法 分 析 | 





图 9-4 询问 人 一 一 “nvr” 规 则 





图 9-5 所 示 为 询问 时 间 一 一 “nrnv” 规 则 的 例子 。 
sr EE Ei A aL oe 
| paama 二 确定 问题 类 型 | 


SAM Nan MAr 上 时候 /mn PREY Fw Onis | 





图 9-5 询问 时 间 一 一 “nmv” 规 则 





图 9-6 所 示 为 询问 时 间 一 一 “nrqvn” 规 则 的 例子 。 
Ba ue Oey hig sete iat 


a TSE 1- 确 定 问题 类 型 | 


Aten Mir Erg Ev 的 /m 美国 /mn Trw 2_ 词 法 分析 | 





图 9-6 询问 时 间 一 一 “nrqvn” 规 则 


3. 询问 数量 (关键 词 : 多 大 、 多 高 ) 

询问 数量 的 问 句 类 型 我 们 只 示例 了 一 种 规则 ， 即 规则 1: 
规则 1: nma 例 : 宝贝 今年 多 大 啦 ? 

图 9-7 所 示 为 询问 数量 一 一 “nma” 规 则 的 例子 。 
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图 9-7 询问 数量 





“nma” 规 则 


4. 询问 定义 (关键 词 : 什么 是 、 是 什么 、 什 么 叫 ) 

询问 定义 的 问 句 类 型 我 们 示例 了 两 种 规则 ， 

规则 1: nar 例 : 三 角形 是 什么 ? 

规则 2: rvn Pil. 什么 是 / 叫 三 角形 ? 

图 9-8 所 示 为 询问 定义 一 一 规则 “rvyn” 时 的 示例 。 
A BSAA EE laa A ais ot ee 


ie paies 1- 确 定 问题 类 型 | 
[a Uy ZAE Tw 2_ 词 法 分 析 | 











图 9-8 询问 定义 一 一 “rvn” 规 则 


5. 询问 地 点 (关键 词 : 哪里 、 什 么 地 方 ) 

询问 定义 的 问 句 类 型 我 们 示例 了 两 种 规则 ， 

规则 1: nr ” 例 天 安 门 在 哪里 ? 

规则 2: nm = fil, 颐和园 是 什么 地 方 ? 

图 9-9 所 示 为 询问 地 点 一 一 规则 “nm” 时 的 示例 。 
6. 询问 原因 (关键 词 : 为 什么 ) 

询问 定义 的 问 句 类 型 我 们 示例 了 两 种 规则 ， 
规则 1: npm Al: 天 空 为 什么 是 蓝 色 的 ? 
规则 2: npra il; 天 为 什么 是 蓝 的 ? 

图 9-10 所 示 为 询问 定义 一 一 规则 “nprn” 时 的 示例 。 


+. ASE il ot d lis oe 国 国 加 


tea AMA? [Sane 。 1- 确定 问题 类 型 | 
Gen Ate HAr HAT Fw 2- 词 法 分析 | 


il 
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图 9-9 询问 地 点 一 一 “nm” 规则 


eee Fae +- 确定 问 题 类 型 | 


ein Alp afr 是 /rv Bn 的 fu Ffw 2_ 己 法 艺 析 | 








图 9-10 ”询问 原因 一 一 “npm” 规 则 
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日 常生 活 中 我 们 询问 时 的 类 型 还 有 很 多 ， 规则 也 还 有 很 多 ， 当 然 内 容 也 是 多 种 多 样 ， 但 
是 基于 知识 库 中 数据 的 限制 ， 目 前 我 们 仅 实现 了 上 述 六 种 问 句 类 型 ， 构 建 知识 库 时 也 只 考虑 
了 现 有 的 句 模 规则 ， 但 是 研究 证 明 此 方法 是 可 行 的 ， 并 且 有 它 的 优点 ， 如 果 要 做 的 更 全 面 需 
要 在 现 有 的 框架 基础 上 进行 句 模 规 则 和 知识 库 数据 的 扩充 。 


9-1 
9-2 
9-3 
9-4 





BAL HAF 


E 考 题 


知识 的 表示 方法 有 哪些 ? 分 别 具 有 什么 优点 和 缺点 ? 


AAAI) 











A 取 方 式 有 哪些 ? 哪 一 种 是 现在 经 常 使 用 的 方式 ? 


描述 知识 库 与 数据 库 的 区 别 和 联系 。 





pie 








要 构建 一 个 关于 中 医治 疗 脸 部 色 斑 的 专家 系统 ， 最 好 采用 哪 种 知识 表示 方法 ” 试 通 
杂志 列举 一 些 相关 知识 。 








9-5 ” 数据、 符号、 信息 、 知 识 之 间 的 区 别 于 联系 是 什么 ? 
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第 10 草 ”情感 模型 和 机 硕 学 习 


情感 模型 在 情感 机 融 人 的 设计 中 起 着 举足轻重 的 作用 。 人 情感 模型 是 在 情绪 心理 学 理论 的 
基础 之 上 ， 定 义 描述 情感 的 数学 空间 。 在 此 空间 中 ,采用 数学 理论 与 方法 ,构造 机 融 可 实现 
的 情感 计算 理论 与 方法 ， 使 之 能 够 模拟 人 类 的 情感 产生 、 变 化 、 转 移 过 程 ， 并 使 其 符合 人 类 
情感 变化 的 规律 ， 满 足 家 庭 环境 中 人 类 情感 的 需求 。 本 章 首先 介绍 了 国内 外 关于 机 融 人 情感 
建 模 的 研究 现状 。 然 后 介绍 了 关于 情感 建 模 的 新 研究 ， 如 普 适 性 研究 、 个 体 情 绪 差 异性 研 
究 、 实 用 性 研究 以 及 基于 机 带 学 习 的 认 知 情感 模型 研究 。 








10.1 情感 模型 的 国内 外 研究 现状 





最 早 提 出 让 计算 机 拥有 人 工 情 感 的 是 美国 的 Minsky 教授 ，1985 年 他 在 《The society of 
Mind》 中 提出 这 样 的 观点 : 问题 不 在 于 智能 机 器 能 否 拥有 任何 情感 ， 而 在 于 机 器 实现 智能 
时 怎么 能 够 没有 情感 ， 此 观点 如 今 已 经 成 为 人 工 情 感 领域 几乎 人 和 皆 引 用 的 “经 典 ”; 1995 年 
美国 MIT 媒体 实验 室 的 Rosalind W. Picard 出 版 了 自己 的 专著 《Affective Computing》， 至 此 后 
情感 计算 或 者 人 工 情感 方面 的 研究 在 人 工 智 能 和 信息 科学 领域 引起 了 世界 各 国 的 关注 。 日 本 
从 20 世纪 90 年 代 开 始 了 感性 工学 (kansei engineering) 的 研究 ， 它 是 将 人 类 的 情感 和 工程 
学 相 结合 进行 商品 制造 设计 的 技术 科学 ， 目 前 日 本 已 经 掀起 了 举国 研究 感性 工学 的 高 潮 。 北 
京 科技 大 学 王 志 良 教授 于 2000 年 提出 了 人 工 心理 的 概念 ， 形 成 我 国 在 情感 计算 领域 的 新 探 
索 方向 。2005 年 10 月 在 北京 召开 的 第 一 届 情 感 计算 和 智能 交互 国际 学 术 会 议 ， 与 此 同时 ， 
中 国人 工 智 能 学 会 人 工 心理 与 人 工 情 感 专业 委员 会 的 成 立 ， 这 都 标志 着 我 国 在 此 方面 的 研究 
达到 了 一 个 新 的 水 平 。 

对 情感 进行 度量 的 思想 吸引 着 心理 学 、 认 知 科学 和 信息 科学 等 很 多 学 科 的 研究 者 。 不 同 
学 科 的 研究 者 试图 从 不 同 角 度 模拟 情绪 的 产生 和 变化 ， 人 情绪 的 复杂 性 以 及 人 类 对 本 身 情感 变 
化 规律 研究 的 尚 不 完善 ， 使 得 这 项 工作 显得 格外 艰巨 ， 因 此 ， 出 现 了 众多 情绪 理论 林立 并 存 
的 局 面 。 随 着 研究 人 员 对 情绪 的 不 断 深 入 探索 ， 这 项 研究 发 展 空前 ， 目 前 在 情感 计算 领域 已 
有 很 多 情绪 模型 出 现 ， 当 然 不 能 用 过 多 挑剔 的 眼光 来 询问 这 些 模型 是 否 完美 地 实现 了 对 人 或 
动物 情绪 的 定量 描述 和 分 析 ， 至 少 有 些 模型 从 功能 角度 实现 了 有 限 的 模仿 ， 下 面 综述 介绍 了 
当前 比较 有 影响 力 的 情感 模型 和 近年 来 情感 建 模 的 趋势 ， 如 图 10-1 所 示 。 

人 工 情 感 模型 不 论 在 物理 机 器 人 还 是 虚拟 机 器 人 研究 中 都 有 着 深远 的 影响 。 由 图 10-1 
中 可 以 看 出 ，0CC 模型 和 HMM 模型 具有 较 大 影响 力 ， 国 内 外 很 多 研究 人 员 都 从 不 同 角 度 对 
这 两 种 模型 进行 研究 改进 ，Kismet 将 模型 应 用 到 机 器 人 中 ， 是 人 工 情 感 模型 应 用 的 成 功 案 
例 。 以 下 我 们 将 选择 一 些 影 响 力 较 大 的 情感 模型 分 别 进行 介绍 。 


10.1.1 OCC 模型 

































































说 到 情感 模型 ， 不 得 不 首先 提 到 1988 Æ, Ortony, Clore 和 Collins Æ <The Cognitive 
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Cathexis 模 型 基于 个 性 和 OCC 的 情感 模型 


CogAff 模 型 


OCC 与 动态 决策 网 络 结合 的 情感 模型 
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表情 "多 层次 情感 模型 











图 10-1 国内 外 主要 的 情感 模型 统计 


Structure of Emotions》 一 书 中 提出 的 著名 “0O0CC” 认 知情 绪 模 型 。 它 是 早期 对 于 人 类 情绪 人 研 
究 提 出 的 情绪 模型 之 一 ， 也 是 第 一 个 以 计算 机 实现 为 目的 而 发 展 起 来 的 情绪 模型 ， 当 前 使 用 
较 普遍 。 它 通过 分 析 环 境 中 所 发 生 的 事件 以 及 与 其 他 实体 交互 行为 中 可 能 引发 的 情绪 ， 在 此 
基础 上 以 规则 的 形式 总 结 并 归纳 出 这 些 对 应 关系 。OCC 模型 中 ， 将 情绪 产生 的 起 因 分 为 三 
大 类 : 事件 的 结果 、 智 能 体 的 动作 和 对 于 对 象 的 观感 。 客 观 世 界 中 的 事件 根据 主体 的 目标 被 
评价 为 满意 的 (pleased) 或 不 满意 的 (displeased); 主体 自身 或 其 他 主体 的 行为 根据 一 组 标 
准 的 集合 被 评价 为 赞成 的 〈approved) 或 不 赞成 的 〈disapproved ) ;对象 则 根据 主体 的 态度 
被 评价 为 喜欢 的 (liked) 或 不 喜欢 的 〈disliked) ; 由 这 些 评价 中 的 变量 产生 了 一 个 包含 22 
类 情绪 的 层次 结构 。0CC 模型 为 我 们 提供 了 一 个 情绪 的 分 类 方案 ， 并 给 出 了 在 这 些 情 绪 类 
型 之 下 的 潜在 推理 过 程 。 它 提供 了 一 个 基于 规则 的 情绪 导出 机 制 ， 可 以 有 效 地 通过 计算 机 进 
行 模拟 。 它 没有 利用 心理 学 中 普遍 采用 的 基本 情绪 集合 或 一 个 明确 的 多 维 空间 来 描述 情绪 ， 
而 是 使 用 一 致 的 认 知 结构 来 表达 情绪 。0CC 模型 可 以 代表 一 类 情感 模型 ， 即 基于 情绪 的 认 
知 理论 和 基于 规则 的 建 模 。 很 显然 ，OCC 模型 对 于 情绪 的 激活 和 产生 更 多 地 考虑 的 是 认 知 
的 因素 ,没有 涉及 情绪 激活 的 其 他 过 程 。 

然而 ,情绪 不 仅 由 单一 的 认 知 评价 过 程 产生 ， 还 与 一 些 低层 次 的 非 认 知 性 因素 影响 密切 
联系 。Izard 指出 了 关于 非 认 知性 因素 对 情绪 产生 的 影响 问题 ， 他 把 产生 情感 的 各 种 原因 归 
纳 为 4 类: 神经 刺激 、 感 觉 运动 、 动 机 和 认 知 ， 并 提出 相应 的 四 种 类 型 情绪 发 生 器 。 喘 国 伯 
明 翰 大 学 的 A. Sloman 提出 的 CogA 企 模型 同时 考虑 了 低层 的 身体 反应 机 制 和 高 层 的 心理 认 知 
对 情感 的 影响 ， 建 立 了 情感 的 三 层 体系 结构 : 反应 层 、 传 输 层 和 自我 监控 层 ， 但 是 这 些 抽 象 
的 模型 没有 提供 一 个 具体 的 可 供 计 算 机 执行 的 情感 建 模 方法 。 麻 省 理工 学 院 的 J. Velasquez 
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根据 Izard 的 情绪 激活 理论 提出 了 Cathexis 情绪 产生 模型 ， 
程 的 可 计算 情感 模型 ,下面 具体 介绍 这 个 模型 。 


它 是 第 一 个 完整 考虑 情绪 激活 过 


10.1.2 Kismet 模型 


Kismet oe C. Breazeal 设计 的 一 个 机 器 人 ， 


Kismet 的 组 成 主要 有 感知 系统 、 


行为 系统 、 


意 系统 、 


动机 系统 和 运动 系统 ，Kismet 的 情感 模型 是 作为 环境 、 内 部 刺激 和 行 


ees ay ee 





文 个 情感 模型 ， 


机 老人 对 外 界 输入 的 刺激 和 内 部 需要 进行 综合 判断 ， 从 


而 引起 表现 行为 的 各 种 变化 。 


Kismet 的 情绪 模型 系统 由 情绪 刺激 、 


情绪 激活 和 情 


情绪 评价 、 


绪 表 达 四 个 部 分 组 成 。 


Kismet 的 情绪 系统 由 外 部 事件 激发 ， 


激发 事件 包括 视觉 刺激 和 


听觉 刺 


激 ， 机 器 人 的 当前 情感 状态 影响 外 界 刺激 的 激发 程度 ; 
刺激 使 用 三 种 情感 特征 
状态 包括 快乐 、 生 气 、 兴 
个 维度 对 应 的 是 唤醒 、 


状态 改变 时 ， 





效 价 和 姿态 


(唤醒 Arousal、 


效 价 Valence , 
趣 、 悲 伤 等 8 种 基本 情绪 以 及 平静 ; 





情绪 的 评价 部 分 是 用 来 对 一 个 给 定 的 
姿态 Stance) 进行 标记 ; 情绪 的 激活 


情绪 的 表达 采用 三 维 空间 ， 三 


。 机 器 人 当前 的 情感 状态 是 空间 中 的 一 个 点 ， 当 它 的 情感 








这 个 点 在 这 个 三 维 空 





s 间 内 运动 。 


时 刻 的 情感 状态 是 综合 考虑 Kismet 的 感知 系统 、 


空间 的 每 个 区 域 代 表 特 定 的 一 种 情感 状态 ， 某 
动机 系统 和 行为 系统 的 作用 而 得 到 的 。 此 





模型 可 分 为 4 个 部 分 ， 如 图 10-2 所 示 。 





情绪 系统 


中 Emotion(¢+1) 






















(C wame 
CO Oaa | 


























K| 10-2 Kismet 模型 框架 图 


10.1.3 基于 欧式 空间 的 人 工 情感 模型 


建立 如 图 10-3 所 示 的 情感 空间 ， 在 情绪 心理 学 的 基础 上 ， 
法 ， 建 立 以 基本 情绪 为 基 向 量 的 欧 氏 空间 、 基 于 情绪 多 维 量 结构 的 维度 空间 和 基于 情感 能 量 
学 说 的 概率 空间 。 在 此 基础 上 研究 机 器 情绪 的 组 成 和 情绪 状态 变化 的 数学 描述 ， 提 出 基于 欧 
氏 空间 的 情感 建 模 方 法 ， 探 讨 模型 参数 与 个 性 心理 之 间 的 关系 。 

图 10-3 建立 的 情感 空间 具有 三 种 情感 : 喜悦 、 恐 惧 和 人 愤怒。 为 进一步 简化 问题 ， 
情感 状态 的 每 一 个 维 ， 仅 取 0，0.5，1 =A. PMN, WAR A 


讨论 情感 状态 空间 的 构建 方 














规定 
WALA AEH (0), 
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PETE ESPERN SPRON E -ih OEE RE tela, 








5 轴 R) 


D ae 
yen (1,1,0) 


ath CE) 


图 10-3 ”基于 欧式 空间 的 人 工人 情感 模型 

















HERR (0.5) 和 恐惧 (1) 三 个 状态 。 于 是 在 这 样 的 三 维 情感 空间 里 就 具有 27 个 情感 





因此 ， 人 情感 活动 就 成 为 在 这 个 情感 空间 中 各 状态 之 间 的 转移 过 程 ， 即 ， 马 尔 科 夫 过 
程 。 如 果 更 为 一 般 的 考虑 ， 认 为 情感 具有 m 种 ， 其 中 每 种 情感 可 以 划分 为 n 个 级别， 于 
是 这 样 构成 的 情感 空间 就 具有 on™ MERRE, S 1=n"， 于 是 可 以 得 到 1 维 的 马尔 科 夫 概 
RFE BF 


10.1.4 ”基于 概率 空间 的 HMM 情感 建 模 


这 种 建 模 方法 首先 定义 情感 的 两 种 状态 (“心境 ”和 “激情 ”) 及 其 相对 应 的 两 个 基本 
转移 过 程 ， 提 出 情感 状态 的 概率 空间 ， 并 分 别提 出 了 基于 马尔 可 夫 链 和 HMM 的 情感 转移 变 
化 模型 ， 用 来 模拟 情感 的 两 个 基本 转移 过 程 。 通 过 情感 能 量 、 情 感 强度 和 情感 炉 等 概念 ， 描 
述 情感 特征 与 情感 状态 。 通 过 计算 仿真 ， 验 证 所 提出 模型 可 以 较为 正确 地 模拟 情绪 状态 的 自 
发 转移 以 及 刺激 转移 过 程 ， 完 整地 描述 情绪 强度 
在 外 界 刺激 、 当 前 心情 状态 和 性 格 三 方面 综合 影 
响 下 的 变化 规律 ， 为 情感 计算 和 机 带 情 绪 自 动 生 
成 理论 研究 提供 了 一 种 轨 新 的 方法 。 建 立 的 情感 
空间 如 图 10-4 所 示 。 

图 10-4 建立 的 情感 空间 坐标 轴 分 别 表示 高 
2%, GEE, BRS PARAS, Ax. y 2 分 别 
表示 。 三 维 的 绝对 或 相对 情感 能 量 分 布 方程 可 
写成 ; 

xaty+z=a(l-AtyA)E 
xtytz=1(0Sx,y\zS1) 


情绪 状态 自发 转移 过 程 的 马尔 可 夫 链 模型 和 情 ”图 10-4 基于 概率 空间 的 HMM 情感 模型 











情感 状态 空间 


2—Ep3(ep;) 





oY 
28 
Z 




















(10-1) GY BBA y-B%(6%) 
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绪 状 态 刺激 转移 过 程 的 HMM 模型 都 建立 在 情感 状态 概率 空间 的 基础 上 。 其 中 ， 前 者 是 用 来 模 
拟人 们 受到 刺激 一 段 时 间 后 恢复 平静 的 过 程 ， 后 者 是 用 来 模拟 人 们 受到 刺激 时 情绪 的 变化 。 

1. 情绪 状态 自发 转移 过 程 的 马尔 可 夫 链 模型 与 算法 

人 类 的 情感 是 十 分 复杂 的 ， 要 想 使 情感 机 器 具有 像 人 类 一 样 丰富 的 情感 及 表现 目前 还 十 
分 困难 。 为 简化 问题 ， 建 立 便于 机 器 实现 的 情感 度量 与 计算 模型 ， 制 造 具 有 基本 人 类 情感 或 
能 近似 模拟 人 类 的 基本 情感 ， 并 和 产生 和 和谐、 生动、 有 趣 的 人 机 交互 效果 的 情感 机 器 ， 我 们 
需要 做 出 一 些 基 本 的 假设 和 限定 。 

WEH N 表示 基本 情绪 总 数 ，i =1，2，…，N 表示 基本 情绪 序号 ,情绪 状态 可 用 下 面 
的 状态 集合 表示 : 

S={S,,S,,+++,Sy} = |1,2,.,N} ,S, =i(i=1,2,.…,N) (10-2) 

假设 1 情感 机 器 只 具有 人 类 的 几 种 基本 情绪 状态 。 一 般 设 定 N=4，1 = 高 兴 、2 =f 
eS, 2a. 4=96 

假设 2 即 在 外 界 刺激 的 作用 下 ， 情 感 机 器 的 任意 两 种 情绪 状态 之 间 可 以 互相 转移 。 

假设 3 某 种 刺激 确定 性 地 引发 某 一 种 情绪 ， 即 刺激 V 只 引发 情绪 i。 刺 激 用 V, 表示 ， 
刺激 集合 为 





V=|V,, V, =, Vu} =11,2,,M},V, =m(m=1,2,.…,M) (10-3) 
假设 4 各 种 基本 情绪 状态 是 互相 排斥 的 。 即 刺激 m =i 应 使 情绪 状态 i 的 强度 增加 ， 而 
其 他 情绪 状态 j (j=i, j=1, 2, =, N) 的 强度 减少 。 
假设 5 情感 状态 的 变化 包括 两 个 过 程 : 心情 状态 自发 转移 和 情绪 状态 刺激 转移 。 
假设 6 心情 状态 自发 转移 的 趋势 是 : 总 是 向 着 平静 心情 状态 转移 。 
情绪 状态 自发 转移 过 程 的 数学 模型 : 
在 情感 状态 概率 空间 的 基础 上 ， 人 情绪 状态 自发 转移 过 程 的 基本 方程 为 : 


Pi=P°A' (10-4) 
IOR P =[pl, 户 ，…，Py] 一 一 初始 时 刻 情绪 状态 概率 分 布 向 量 ; 
P'=[p1;, P, 00, Pa i 时 刻 情 绪 状 态 概 率 分 布 问 量 ; 
A — 阶 情绪 状态 自发 转移 矩阵 ; 
4 的 极限 概率 分 布 为 元 ” = (ar), mi, o, my ] 。 由 式 limP = 元 可知， 志 "表示 情绪 状 
态 自 发 转移 过 程 最 终 处 于 稳定 时 的 心情 状态 概率 分 布 。 
ER (10-4) P, P 和 元 * 是 事先 给 定 的 ， 只 要 确定 了 4 ， 就 可 计算 任意 给 定时 刻 :的 
BARSKIH E P, toht, A P' >To 





状态 转移 和 矩阵 的 确定 : 
Xis i=j i 
令 : ay = ee kei 
yi, i*J 
Xi Ji ~me Ji 
Ja, Aa Se Ia 


Astati n a ， (10-5) 


Yn Yn `U Xy 
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x, +(N-1)y,=1 
x, =k,y,,k, 20 
解 上 面 二 元 一 次 方程 并 代入 式 (10-5) 可 得 





















































| 1 ee SE 
N-1+k, N-1+k, N-1+k, 
1 ke oe oo. 
A={ali jiy =| N-1+k, N-l+k, N-1+k, 
1 1 ky 
LN-1+ky N-1+k N-1+k 
PAHE k, AP isl, ae dy 
HH aw” A=" on ee. 
Ti h +T, : HeT, L ETA : =m; (1) 
! N-1+k *N-1+k, ODN -1 +k- “N-l+ky ' 
Ti 1 +T h feb : + TN 2 =T, (2) 
'N-1+k, *N-1+k, CON-L+  “N-ltky ? 
M 
s~ 1 k-n +  ， 
Wi 
iat | Nae, ON ee 
Ti +T t+, =l (N +1) 
解 得 
N-1+kh, 
Te el a 
N-1+k, 
ee +k, 
. N-1Lt+ky 
Ti Us Aai Ei 
将 式 (10-9) 代入 式 (10-8) _ (N41) 式 得 
mi [14 (N-1)(N-1) +h, eit] 
N-1+k 7 
* N-1 +k, N-1+k, 
Ty = = N 








N-1)N+k +h, +h, te tk, 
i aa ^ (N-1)N+ Dk, 


所 以 ， 


(10-6) 


(10-7) 


(10- 8) 


(10-9) 
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N-1+k, N-1+k, 

Tı N T R ee ee 
t=1 

a N-1+k, E N-1+k, 

T; UNO E a ge Sl 
i=1 

? AET N-1+ky 

Ty = (N-1)N+k, +h, +h, +- + ky = (N-1)N4 yk, 
i=1 


Hist (10-10) 得 . 
























































X N-1+k, N-1+k N-1+k, 
(N-1)N+ È k= a Ee oe TEN Lg (10-11) 
i=l Ti T Ty 
k, =O07; - (N-1) 
解 得 k, = Om; (N-1) 
ky = Omy = (N=1) 
所 以 有 ， 
Om, -(N-1) 1 
Orm” Om On, 
1 Om, -(N-1) 1 
A= Orr, Or, On, (10-12) 
1 1 7 Om, -(N-1) 
L OT, OT; OT, 
当 N=4 时 , RA (10-11) 得 . 
[ Oz -3 1 1 1 
atx 1 1 1 Om Orr Orr Orr 
L, L, L, L, 
1 L-3 4 1 1 OT, -3 1 1 
L, L, L, L, Or, Om, On” Or; 
A= ° i J= i af (10-13) 
1 1 4-3 1 1 1 On, -3 1 
L, L, L, L, ma on oe on 
1 1 1 LL-3 od 
TT —_ 
L t4 L; L, L, A i Ua 4 . 
L OT, OT, OT, oT, 





实际 生活 中 ， 真 实 人 的 情绪 在 刺激 事件 影响 后 ， 情 绪 需 要 一 个 自发 回落 至 平静 的 过 程 ， 
因此 情绪 状态 自发 转移 过 程 主要 是 为 了 模仿 虚拟 人 在 多 个 情绪 刺激 间隔 时 间 内 ， 情 绪 自 动 恢 
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复 平 静 的 过 程 。 

2. 情绪 状态 刺激 转移 过 程 的 HMM 模型 与 算法 

根据 心理 学 理论 ， 在 有 外 界 情感 信息 刺激 的 情况 下 ， 人 情感 状态 主要 体现 在 情绪 的 变化 
上 ， 而 情绪 的 变化 又 受到 多 方面 的 影响 ， 概 括 地 说 ， 主 要 由 外 界 情 感 信息 的 刺激 (类 型 、 


强度 ) 、 当 前 心情 状态 以 及 情感 性 格 三 个 因素 共同 作用 ， 可 表示 为 A*=(N, M, m, Â, B)。 


其 中 ，N 表示 基本 情绪 总 数 ，M 表示 刺激 类 型 ，7 是 HMM 模型 中 的 初始 概率 分 布 ，A 为 情 
绪 状 态 刺激 转移 矩阵 ， 有 表示 刺激 矩阵 。 

在 情绪 状态 的 刺激 转移 过 程 中 ， 情 感 状态 主要 表现 为 情绪 状态 ， 情 绪 状 态 概率 分 布 P= 
[Pry Pos ts pw] 可 用 下 面 两 个 概率 分 布 来 描述 。 

初始 心情 状态 概率 分 布 ; 

初始 心情 状态 概率 分 布 ， 也 就 是 HMM 模型 中 的 初始 概率 分 布 m, mlm, m, =, 
mv] ， 它 等 于 心情 状态 自发 转移 中 的 P=[p'， ph, =, pyle 

当前 情绪 状态 概率 分 布 ; 

当前 情绪 状态 概率 分 布 PF = [pt ，mm ，…，PD ] ， 表 示 与 外 界 刺激 的 类 型 与 强度 7 
相对 应 的 情绪 状态 。 可 通过 前 向 变量 计算 和 后 向 变量 计算 ， 得 到 状态 概率 分 布 以 7 。 


A 为 情绪 状态 刺激 转移 矩阵 ， 它 的 极限 概率 用 5“ 表示。 具体 可 由 式 (10-14) 来 确定 。 






































ñ -W-D a 1 
i 而 p 
1 L, -(N-1) 1 
A= £ L L, 
L 工 Lv-(N-1) 
E l Ly 
OF, 1 . 
On" On" i 
1 On, -(N-1) 
= on On: E (10-14) 
1 1 Omg -(N-1) 
Or; Om: Om: 





外 界 刺激 可 以 用 HMM 模型 中 的 观察 值 、 观察 值 矩 阵 、 观 察 值 序列 来 描述 。 观 察 值 集 合 
也 就 是 刺激 集合 为 
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V= {Vi ,by Vy} =41,2,°°,M@}, V, =m(m=1,2,--,M) (10-15) 
令 观 察 值 矩 阵 也 就 是 刺激 矩阵 为 : 
bi(1) 6b(1) = by (1) 
bi(2) b,(2) by (2 
Boma O A E D (10-16) 
b(M) b(M) = by(M) 


HP BCV,,) =[b(m) b,(m) + by(m)], GSmSM) 称 为 对 应 第 m 种 情绪 状态 
的 刺激 向 量 。 和 刺激 向 量 B(V,) 的 各 个 分 量 的 值 可 确定 刺激 的 类 型 。 且 应 满足 : 





5 b(m)=1, (1<i<N) (10-17) 
> bi(m)=1, (1<m<M) (10-18) 
Dh FE HE SRE Me AY) ELAS EAR HEE (10-19) : 
令 ， 
(10-19) 
i b, (iz)) 
则 刺 油 矩阵 可 写 为 
a b b 
| ba = 6 
[B(m,i)} wxw = : : i : (10-20) 
b b a 
令 ， 
r=—-,(r>1) (10-21) 
r 称 为 刺激 影响 因子 。 由 式 (10-18) 得 : 
a+(N-1)b=1 (10-22) 
HÈ (10-21) 和 式 (10-22) HRA RAE: 
r>l (10-23) 
p= l 
N-l+r 


只 要 确定 >， 就 完全 可 确定 刺激 矩阵 {BCm, i)} wxws 
通过 实用 的 情感 信息 获取 手段 ， 经 过 情感 模型 产生 服务 机 器 人 自身 的 情感 ， 再 适当 地 表 
达 出 来 ， 整 个 过 程 所 涉及 软 便 件 模块 ， 构 成 了 服务 机 融 人 的 情感 系统 。 骨 入 此 情感 系统 ， 可 
以 为 实现 具有 情感 的 个 性 化 和 谐 人 机 交互 提供 有 效 途 径 。 


10.1.5 小 结 


总 的 来 看 ， 虽 然 很 多 情感 模型 已 经 建立 起 来 ， 但 是 能 够 应 用 在 智能 机 器 人 计算 机 系统 中 
的 并 不 多 ， 所 以 可 以 说 情感 建 模 的 研究 现在 还 处 于 初级 阶段 。 根 据 建 模 的 思想 及 其 影响 力 ， 
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我 们 可 以 将 情感 模型 划分 为 基于 认 知 的 情感 模型 、 基 于 概率 的 1 
型 。 根 据 文献 的 资料 来 看 ， 更 多 的 研究 者 倾向 于 对 基于 认 知 的 1 
型 的 研究 。 各 情感 模型 的 优 缺 点 归纳 如 下 。 

1) 基于 认 知 的 情感 模型 中 应 用 最 广泛 的 是 OCC 模型 。0CC 模型 是 基于 认 知 的 情感 模 
型 ， 采 用 一 致 性 的 认 知 导出 条 件 来 表述 情感 ， 通 过 不 同 的 认 知 条 件 进行 归纳 ， 大 约 规范 出 
22 种 情感 类 型 ， 其 中 包括 用 来 产生 这 些 情 感 类 型 的 基本 构造 规则 ， 所 以 OCC 模型 是 第 一 个 
易于 计算 机 实现 的 认 知 型 情感 产生 模型 。Elliott 情感 推理 机 系统 就 可 以 看 成 是 OCC 模型 的 一 
个 计算 机 实现 。 

但 是 它 仅仅 考虑 了 情感 的 认 知 因素 产生 机 制 ， 并 没有 考虑 情感 的 非 认 知 因素 产生 因素 ， 
实际 中 情感 的 产生 不 仅仅 依赖 于 认 知 情况 。 所 谓 的 非 认 知 因素 又 可 称 为 非 智力 因素 ， 侧 重 于 
动机 、 兴 趣 、 意 志和 性 格 等 方面 。 因 此 我 们 可 以 看 出 ， 非 认 知 因素 虽然 不 直接 参与 认 知 过 
程 ， 但 是 却 直 接 制 约 认 知 过 程 。 假 如 某 个 人 的 性 格 侦 外 向 ， 属 于 活泼 开朗 型 的 人 ， 那 么 可 以 
刺激 到 性 格 内 向 的 人 的 外 部 环境 未 必 能 够 影响 到 这 个 外 向 的 人 。 所 以 在 情感 建 模 中 也 需要 考 
虚 到 非 认 知 因素 的 作用 。 针 对 这 一 不 足 很 多 研究 者 提出 了 改进 的 模型 (如 Izard 等 人 加 入 了 
非 认 知 因素 ) ， 但 是 都 没有 广泛 地 应 用 到 实际 中 去 。 

2) 基于 概率 的 模型 中 最 典型 的 就 是 HMM 模型 。HMM 模型 将 情感 视 为 表征 生命 体 心 智 
状态 的 一 种 信息 ， 认 为 情感 信息 是 情绪 过 程 产生 的 观察 序列 ， 并 假定 这 种 情绪 过 程 是 一 种 马 
尔 可 夫 过 程 。HMM 信号 模型 为 描述 情感 信号 处 理 过 程 提供 了 理论 基础 ， 从 而 可 以 获得 期 望 
的 输出 ， 对 情感 信号 建 模 可 以 让 我 们 更 好 地 研究 信号 源 一 一 情绪 过 程 ， 并 且 可 以 模拟 信号 源 
产生 信号。 

HMM 模型 仅仅 是 从 概率 的 角度 来 模拟 情感 的 产生 ， 而 且 HMM 它 本 身 的 缺点 和 局 限 性 
也 随 之 被 带 入 到 情感 模型 领域 。 例 如 ， 对 于 给 定 的 状态 ， 它 要 求 各 个 观察 值 是 相互 独立 的 ， 
但 有 时 事实 并 非 如 此 ， 它 们 之 间 会 相互 依赖 ， 情 感 状态 更 多 的 时 候 是 呈 连 续 状 态 的 。 又 如 它 
假定 在 时 刻 的 状态 只 依赖 于 时 刻 -1， 而 在 现实 中 不 仅仅 如 此 。 当 某 种 强度 很 大 情绪 产 
生 时 ， 它 不 仅 会 对 下 一 时 刻 的 情感 产生 造成 影响 ， 有 可 能 会 对 下 下 一 刻 的 情感 产生 也 产生 影 
啊 ， 直 到 随 着 时 间 的 推移 这 种 情感 的 强度 值 归 于 零 。 因 此 这 种 离散 的 情绪 空间 虽然 可 以 清 
楚 、 明 了 地 定义 情绪 状态 ,但 是 不 符合 人 类 复杂 的 内 心情 绪 状 态 。 也 有 人 认为 HMM 情感 模 
型 的 认 知 因素 和 非 认 知 因素 考虑 的 不 够 全 面 。 很 多 后 续 的 研究 也 针对 这 些 缺 点 进行 不 断 改 
进 ， 如 提出 了 加 入 心境 和 个 性 的 HMM 模型 算法 ; 含有 情感 粹 、 傅 绪 炉 概念 的 HMM 情感 模 
型 ; EHMM 算法 的 情感 模型 。 但 是 对 这 种 基于 概率 的 情感 模型 来 讲 ， 有 着 先前 限制 条 件 的 
约束 ， 因 此 也 没有 从 根本 上 解决 这 个 问题 。 

3) 基于 任务 的 情感 模型 。 这 类 情感 模型 针对 特定 任务 而 建立 ， 因 此 实用 性 强 但 通用 
性 差 。 

4) 其 他 的 一 些 情感 模型 虽然 可 以 将 很 多 情感 产生 的 因素 考虑 进去 ,但 是 在 描述 人 类 
复杂 的 情感 时 又 比较 模糊 ， 导 致 其 通用 性 并 不 强 ， 复杂 的 情感 推理 机 制 在 计算 机 上 并 不 容易 
实现 。 

因此 我 们 迫切 地 需要 有 一 种 基于 多 机 制 的 情感 模型 ， 不 仅 能 够 从 理论 上 可 以 尽 可 能 地 寺 
括 情感 产生 的 原因 ， 而 且 会 能 够 从 实际 出 发 ， 考 虑 到 其 通用 性 和 复杂 性 。 
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10.2 ”情感 建 模 的 新 研究 


基于 上 述 介绍 的 四 类 异型， 我 们 主要 针对 其 普 适 性 、 个 体 情 绪 差 异性 以 及 实用 性 作 了 一 些 研究 。 
10.2.1 普 适 性 研究 


针对 现 有 的 隐 马 尔 可 夫 情 感 模型 仅 能 产生 基本 情绪 的 问题 ， 提 出 了 一 种 改进 的 模型 ， 使 其 
能 够 产生 复合 情绪 。 首 先 ， 放 宽 已 有 理论 的 假设 条 件 ， 使 得 某 种 刺激 可 以 引发 多 种 基本 情绪 ， 
并 且 两 种 基本 情绪 状态 的 强度 可 以 同时 增 大 ， 提 高 模型 的 普 适 性 ; 其 次 在 引入 辅助 矩阵 和 可 变 
阅 值 后 ， 实 现 了 情感 模型 的 复合 情绪 生成 。 并 通过 仿真 试验 ， 验 证 了 该 模型 的 有 效 性 。 

1. HMM 情感 模型 的 推广 

基于 上 述 模 型 的 假设 3， 得 到 M = 六 的 结论 ， 即 基本 情绪 总 数 与 刺激 类 型 总 数 是 相等 


的 ，B 阵 为 一 方 阵 ， 这 样 某 种 刺激 就 会 确定 性 地 只 引发 某 一 种 基本 情绪 。 由 于 情绪 分 为 基本 
情绪 和 复合 情绪 ， 若 基于 隐 马 尔 可 夫 的 情绪 状态 刺激 转移 模型 仅 能 产生 特定 的 基本 情绪 ， 还 
不 够 完善 。 如 何 使 其 能 够 产生 复合 的 情绪 ， 是 一 个 需要 解决 的 问题 。 

首先 ， 引 入 辅助 矩阵 Fy, 








Bio! (Ai) ROJ a Aa 
Brac F,. 2 AW) h2) a I2) (10-24) 
FCN) JaN) = fy) 
Fy. 





Hep, 行 向 量 F,，(1<j<N) ， 对 应 第 j 种 基本 情绪 类 型 的 刺激 。 通 过 这 个 行 向 量 的 各 
个 分 量 的 值 可 确定 刺激 的 类 型 。 


> £0) =1, (1<i<N) (10-25) 
. Pa i= ¢ eo red £=7/(N-147) 
A = 三 H 
Tf.0) = o, if inh ae (7 >1), 换 元 带 入 式 (25), ， 得 到 A T> 


HEIE DEE FF 

为 了 使 基于 隐 马 尔 科 夫 的 情绪 状态 刺激 转移 模型 产生 复合 情绪 ， 需 要 减少 上 述 理论 假设 
条 件 。 这 种 条 件 或 约束 的 放宽 ， 增 加 了 情感 模型 的 普 适 性 。 

复合 情绪 是 由 基本 情绪 的 不 同 组 合 派 生出 来 的 ， 一 种 复合 情绪 类 型 的 刺激 可 以 引发 若干 
种 基本 人 情绪， 显然 上 述 假设 3 是 不 合理 的 ; 同样 ， 由 复合 情绪 引发 的 几 种 基本 情绪 强度 值 也 
是 可 以 同时 同方 向 变化 的 ， 因 此 ， 假 设 4 也 不 够 合理 。 因 此 ， 要 删除 这 两 个 假设 。 

其 次 ， 在 剩余 的 四 个 假设 条 件 下 ， 根 据 辅助 矩阵 来 计算 HMM 情绪 状态 刺激 转移 模型 中 


的 刺激 矩阵 有 














B 阵 定义 为 
By. bi(1) b(1) = bn(1) 
By = B,. = ga 2 人 (10-26) 
A b(M) 6,(M) = by(M) 
| By. 





1) 当 刺 激 类 型 为 基本 情绪 类 型 时 ， 此 时 M=N, B-F, REEKS HMM 情感 模型 中 讨论 ; 
2) 当 刺 激 类 型 为 复合 情绪 类 型 时 ， 例 如 复合 情绪 i 是 由 基本 情绪 i，j, 组 成 的 ， 则 ， 


a A A A A T 
B | 人 人 ] 
MxN 
x B. B,. B B Tee 
4 4 4 4 S = 2 P 
_|F,. F, F (F,. +F,. +F,.) Fy 
mzi 
mri (N-2) xN 


(10-27) 








BEES i 行 对 应 的 行 向 量 B，， 即 为 复合 情绪 类 型 对 应 的 刺激 向 量 。 
内 为 b;Cm) = > G) =1，(1<i<N)， 所 以 B 阵 依然 满足 HMM 模型 的 使 用 要 求 ， 


进而 可 以 通过 五 元 组 A = (IV, M, 应， 个 ， 信 ， 计 算 情绪 刺激 转移 过 程 中 的 情感 状态 值 

2. BAA AL IR 
通过 去 除 假设 3 4, S| AEE Fa, JCA EY) HMM 情感 模型 得 到 推广 ， 能 够 产生 
由 基本 情绪 组 合成 的 复合 情绪 ， 增 加 了 模型 的 适用 环境 。 

但 是 在 实际 使 用 时 ， 却 存在 情绪 状态 值 的 洪 界 问题 。 例 如 ， 某 种 复合 情绪 i 是 由 基本 情 
绪 i, j 组 成 的 ， 当 刺激 事件 持续 刺激 复合 情绪 时 ， 相 应 基本 情绪 i, j 的 值 都 将 增 大 ， 理 论 上 
他 们 都 增 大 到 0.5 并 会 保持 不 变 ， 实际 上 寿 此 时 出 现 小 的 扰动 ， 使 他 们 偏离 0.5， 根据 
HMM 模型 的 计算 ， 大 于 0.5 的 情绪 将 会 被 持续 激发 ， 逐 渐 增 大 到 1.0 并 保持 ， 而 另 一 个 小 
于 0.5 的 情绪 ， 将 会 被 持续 抑制 ， 逐 渐 趋 于 0。 

基于 情绪 状态 刺激 转移 过 程 的 HMM 模型 ， 情 感 强度 值 是 通过 前 向 - 后 向 算法 来 计算 的 。 




















设 前 向 变量 为 @ = Fae z |’. 
其 中 ， 


a, =P- B, (10-28) 





依 此 类 推 ， 





> 


Boasa =B. * 


s_max -2 





依 此 类 推 ， 


A 
Pisi =B,. > 
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(10-29) 


(10-30) 


(10-31) 





(10-32) 
(10-33) 


(10-34) 


(10-35) 








N-1 
WHHL Hm Fal 
其 中 : 
一 一 一 一 人 一 一 一 一 ~ 
^ aB P-B -B XA xe A’ 
"aD Pr zo 一 (10-36) 
a, xB, P-B, x (B + B, xA x XA) 
N-1 N-1 

i N-2 


(10-37) 

















a, x 
N-2 
依 此 类 推 ， 
N-1 
2 see Be man P'.B. xA.B x…xA.B 
Y, max = = Bs - = l A l P L ( 10- 38 ) 
B,. xÂ .B, xe xX A .B,. x[1 1 1] 





HP, s max 为 最 大 刺激 强度 。 


从 式 (10-38) 看 出 ， 若 情感 状态 向 量 P' 中 某 两 个 基本 情感 状态 值 相同 ， 在 被 激发 后 的 








184 


下 一 时 刻 ， 这 两 个 维度 的 值 也 应 相同 ， 因 此 ， 溢 界 问题 应 来 自 于 其 程序 实现 。 
计算 机 在 处 理 大 量 的 浮 点 数 运算 时 ， 由 于 计算 的 精度 问题 ， 看 似 相 等 的 两 个 浮 点 数 可 能 


并 不 相等 。 通 过 分 析 程序 ， 发 现 溢 界 问题 来 源 于 此 。 在 计算 P' 时 ， 应 该 相等 的 情绪 状态 维度 
会 在 浮 点 数 的 末 位 几 个 数字 上 出 现 微小 差别 ， 若 刺激 不 断 出 现 ， 上 述 基 于 HMM 模型 的 情绪 
这 种 微小 差别 就 不 断 被 放大 ， 直 至 出 现 溢 界 。 

这 里 通过 引入 一 个 可 变 的 国 值 = 来 解决 溢 界 问题 。 若 某 一 种 复合 情绪 类 型 的 刺激 激发 的 





状态 刺激 转移 过 程 会 不 断 进行 ， 











基本 情绪 Bey), 


KA, Mei 


其 中 ，num ERATARA 


可 变 的 e 在 某 一 种 复合 情绪 类 型 的 刺激 下 ， 被 赋 为 一 个 选 定 的 值 来 控制 “情绪 状态 近 





e= œ< (1/num) 


| 激 激发 





的 基本 情绪 数量 。 


似 度 ”。 当 N=3， 洪 界 问 题 及 其 解决 如 图 10-5 所 示 。 
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图 10-5 左 图 中 , 在 :=24 时 ， 出 现 溢 界 问题 。 由 于 计算 的 精度 问题 ， 情 绪 状 态 维度 1 
与 2 的 值 在 浮 点 数 末 位 几 个 数字 上 出 现 了 微小 差别 ， 进 而 在 后 续 的 计算 中 ， 这 种 差别 被 持续 
放大 ， 使 得 基本 情绪 1 与 2 的 状态 值 出 错 。 当 加 入 了 可 变 阔 值 = 后 ， 溢 界 问题 被 解决 ， 如 图 
10-5 右 图 所 示 ， 基 本 情绪 1 与 2 的 状态 值 保 持 相 等 。 

当 N=6 时 ,通过 仿真 试验 发 现 ， 出 现 溢 界 问题 的 概率 较 小 ， 这 是 由 于 每 一 个 情绪 状 
态 维度 值 相对 于 N =3 时 都 小 很 多 ， 浮 点 数 计算 时 末 位 较 小 的 差别 被 舍 去 ， 人 情绪 状态 值 都 
保持 在 合理 的 范围 内 ， 因 而 出 现 溢 界 问题 较 少 。 但 也 应 加 入 可 变 阐 值 ,保证 算法 的 
稳定 。 

3. 仿真 试验 

设 自 发 转移 初始 情绪 状态 向 量 、 自 发 转移 极限 情感 向 量 和 刺激 转移 极限 情感 向 量 都 为 
[1/N 1/N … 1ZN],r=1.06。 基 本 情绪 包括 悲伤 、 慎 怒 、 恐 惧 、 厌 恶 、 茂 视 和 愉悦 六 
种 ， 即 N=6。 下 面 将 以 嫉妒 和 敌意 两 种 复合 情绪 分 别 出 现 后 ， 情 绪 状 态 的 变化 过 程 来 说 明 
上 述 改 进 模 型 的 有 效 性 。 

在 t=7 时 刻 出 现 嫉妒 类 型 的 刺激 ， 一 直 保持 到 上 =25 时 刻 ， 撤 销 嫉 妨 类 型 的 刺激 ， 情 绪 
的 变化 过 程 如 图 10-6 所 示 。 

































































04-5 ~ T 02 — ~ r 
1 1 =N 1 1 mE: 
oS 1 T o> 1 1 1 
9 i i £ aln P 
- | | 
ms 1 K i\ I ' 
1 1 N | 
[i 1 SS 1 
| 0 > 20 > 40 60 
1 1 1 
t 0.2 t T | T 
一 a 1 
S = \ eb 
BY: mR ulate > eal Re 7 
ES Ei 1 ! 
1% i | 
1 1 1 
t 
0 1 20 | 40 60 
| | 
02-4 — r 
a 1 一 一 
~ 一 į | 1 
S D i ely 
oak i EN UE ae ae Paa 7 
eT | | 和 
1 1 1 1 1 1 
| it 1 | 
0 17 20) 25 40 60 0|7 20] 25 40 60 
时 间 /t 时 间 /t 





























图 10-6 嫉妒 情绪 的 变化 过 程 


由 于 嫉妒 是 愤怒 混合 着 悲伤 与 恐惧 ， 因 此 ,在 1!=7 时 刻 这 三 个 维度 的 基本 情绪 得 到 
激发 ， 其 他 三 个 维度 受到 抑制 ; 随后 ， 嫉 妒 类 型 的 复合 情绪 刺激 并 未 消失 ， 各 基本 情绪 
状态 值 继续 增 大 或 减 小 直至 饱和 ; 在 1=25 时 刻 撤销 刺激 ， 各 维度 的 基本 情绪 逐渐 恢复 
平静 。 

再 次 ， 设 在 !=7 时 刻 出 现 敌 意 类 型 的 刺激 ， 一 直 保 持 到 :=25 时 刻 ， 撤 销 敌 意 类 型 的 刺 
激 ， 人 情绪 的 变化 过 程 如 图 10-7 所 示 。 
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图 10-7 敌意 情绪 的 变化 过 程 


由 愤怒 、 厌 恶 和 轻 斌 组 合 起 来 的 复合 情绪 可 叫做 敌意 。 同 样 ，t =7 时 刻 这 三 个 维度 的 
基本 情绪 得 到 激发 ， 其 他 的 三 个 维度 受到 抑制 ; 随后 ， 此 复合 情绪 刺激 并 未 消失 ， 各 基本 情 
绪 状 态 值 继续 增 大 或 减 小 直至 饱和 ; 在 上 =25 时 刻 撤销 刺激 ， 各 维度 的 基本 情绪 逐渐 恢复 
平静 。 

可 以 看 出 ， 通 过 对 HMM 情感 模型 的 改进 ， 能 够 更 好 的 模拟 复合 情绪 类 型 刺激 出 现 、 保 
持 以 及 撤销 后 情绪 的 变化 过 程 。 

4. 结论 

在 已 有 隐 马 尔 科 夫 情 感 模型 的 基础 上 ， 通 过 减少 假设 条 件 并 引入 辅助 矩阵 ， 使 原 有 模型 
产生 复合 情绪 ， 增 加 了 情感 模型 的 普 适 性 。 同 时 ， 可 变 国 值 为 模型 的 计算 机 实现 提供 了 基 
础 ， 解 决 了 情感 状态 计算 时 的 溢 界 问题 。 

进一步 研究 的 工作 重点 是 改进 基于 HMM 情感 建 模 算 法 ， 使 其 为 在 人 机 交互 过 程 中 更 好 
的 实现 拟人 化 计算 机 情感 合成 与 输出 做 出 理论 贡献 。 


10.2.2 个体 情绪 差异 性 研究 


在 情绪 状态 自发 转移 马尔 可 夫 模 型 中 ， 针 对 参数 的 调整 是 否 会 给 个 体 情绪 差异 带 来 影 
响 ， 以 及 影响 的 程度 等 有 关 个 体 情绪 区 分 聚 类 的 问题 ， 提 出 了 基于 度量 多 元 尺度 分 析 理 论 的 
个 体 人 工 情绪 差异 性 研究 方法 。 通 过 不 相似 度 矩 阵 计 算 内 积 矩 阵 ， 再 应 用 主 成 分 因素 分 析 
法 , 便 可 得 到 个 体 属性 重 构 矩 阵 ， 在 低 维 上 展现 个 体 情绪 差异 。 试 验 结果 可 以 用 来 指导 模型 
参数 的 选取 ， 并 为 实验 的 有 效 性 提供 了 数学 验证 的 依据 。 

根据 基本 方程 (4) ， 情 绪 状 态 自 发 转 过 程 ， 即 个 体 的 情绪 自发 转移 差异 ， 取 决 于 矩阵 
A, KIE, 参数 9 和 五 的 确定 ， 是 对 个 体 差 异 研究 的 关键 。 基 于 多 元 尺度 分 析 ， 依 次 研究 以 
下 三 个 问题 : 1) 参数 9 和 =m" 的 变化 是 否 一 定 引 起 个 体 情绪 自发 转移 差异 ; 2) 参数 的 变化 
引起 什么 样 的 个 体 情 绪 差异 ;3) 情绪 状态 初 值 P' 的 影响 。 下 面 分 别 加 以 详 述 。 
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1. 对 问题 1 的 分 析 

上 述 情感 状态 自发 转移 的 马尔 可 夫 链 模型 中 ， 情 绪 强 度 mw 是 情绪 变化 的 一 个 重要 度量 。 
情绪 强度 定义 为 

Pia =p- 广 ， t= ,2 53N (10-40) 

并 把 pW 称 为 某 一 时 刻 1 (40) 的 情绪 强度 。 当 pW >0 时 ,情绪 i 处 于 激发 状态 ; 
pW <0 时 ,情绪 i 处 于 抑制 状态 ; pL =0， 情绪 i 处 于 平衡 状态 。 但 pH 只 是 一 个 情绪 变化 的 
静态 特征 ， 要 动态 的 反应 个 体 情绪 差异 ， 则 要 计算 情绪 强度 变化 率 向 量 A PO, = 
[Ap Ap … ApW2]， 其 中 第 i 维 情 绪 强 度 变化 率 Ap W 























pit? =p ( (+1) -号 -人 (2) -六 
Apr? _ [Pia ia | _ || Pi N Pi N)\= a ap" | (10-41) 
: (t+1)-t (t+1) -=t | 
设 情绪 强度 变化 率 向 量 在 确定 时 刻 了 的 值 记 为 APY = [Ap Ap 多 … Ap], 取 
T = 5; 情绪 自发 转移 过 程 中 的 最 大 情绪 强度 变化 率 向 量 为 MAXA PO, 
pag iea? Ap e oa {Apm}]， 平均 情绪 强度 变化 率 向 量 为 MEANA 
PO = | {Ap\?} pmean {Apr } a oe {Apia i], T ing = 50 是 情绪 自发 转移 过 
的 最 大 时 长 。 


在 情绪 自发 转移 过 程 中 ， 个 体 情绪 差异 可 以 用 AP MAXA P AI MEANA PP 三 个 向 
量 组 成 一 个 维度 为 3N 的 行 向 量 来 区 分 。 即 :个 体 守 的 属性 向 量 
为 ATTRIBUT, = [AP MAXA PU, aa wo 


针对 问题 1， 假 设 参数 Bla” 中 有 且 仅 有 一 个 参数 发 生变 化 ， 研 究 该 参数 对 给 个 体 差异 
变化 带 来 的 影响 。 由 于 > mw; =1 ie {1, 2,…, 入} 线性 相关 ， 所 以 仅 讨论 9、m AM 1; 
的 变化 组 合 就 可 以 了 。 他 们 的 变化 组 合 见 表 10-1。 
表 10-1 SRO HAF 





所 有 组 合 数 1 2 3 4 5 6 7 8 9 
0 I U D U U U U U U 

Tr U U U I U D U U U 

Tř U U U U U U I U D 

最 终 组 合 数 1 2 3 4 x 5 6 x 7 


K 10-1 中 , I (Increasement) 表示 该 数值 增 大 ，D (Decreasement) 表示 该 数值 减 小 ， 
U (Unchanged) 表示 该 数值 不 变 。 由 于 组 合 中 存在 重复 ， 因 此 9、T 和 mm” 的 最 终 变化 组 合 
为 L=7 种 ， 即 研究 7 个 差异 ek, 结合 前 面 所 述 的 个 体 的 属性 向 量 ATTRIBUT, ie 
{1，2，…，7}， 可 以 建立 个 体 属 性 矩阵 为 
ATTRIBUT =[ ATTRIBUT, ATTRIBUT, … ATTRIBUT,]’, 
这 里 取 情 绪 的 维度 N=3， 则 ATTRIBUT ,是 一 个 9 维 行 向 量 。 根 据 度量 多 元 尺度 分 析 理 
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论 ， 在 个 体 属性 矩阵 的 基础 上 ， 构 建 不 相似 度 矩 阵 Aj,,。A 中 的 元 素 5; 为 
ô, =d; = [(ATTRIBUT, - ATTRIBUT, ) ( ATTRIBUT, - ATTRIBUT, )']'? 





= | > (ATTRIBUT, - ATTRIBUT,)’] (10-42) 
k 
FAME BUR, HEZ y, 为 
2 2 2 2 
yy = -0.5x (8-8, -8 48.) (10-43) 
go 1 2 
ô; ~ L 2 ô; 
pai 
其 中 ， ô. = TÈ” 
1 2 
i j 





把 个 体 属 性 矩阵 在 低 维 空间 上 的 重 构 矩阵 记 为 Ô, (M <3N) 。 其 表示 的 个 体 不 相似 度 
矩阵 记 为 D， 则 根据 度量 多 元 尺度 分 析 理论 ，A 与 D 在 某 种 意义 上 近似 。 且 有 : 


r=00 (10-44 ) 


求解 式 (10-44) 可 在 低 维 空间 上 得 到 个 体 属 性 重 构 矩 阵 全， 即 个 体 差异 可 以 在 低 维 空 
间 被 表示 出 。 
同时 ， 还 可 求 出 个 体 属 性 重 构 和 矩阵 第 7 维 对 应 的 特征 值 A,: 


N= È o; (10-45) 








HP, o, Q 的 元 素 值 。 试 验 中 得 到 的 一 组 特征 值 随 维度 变化 曲线 如 图 10-8 
所 示 。 





x107 
7 T 


X:1 







特征 值 


X:3 
Y:0.0005 











X:4 X:5 X:6 

, , , : Y:0.0000 Y:0.0000 Y:0.0000 

1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 6 
维度 


图 10-8 特征 值 随 维度 变化 曲线 
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根据 图 10-8， 个 体 属性 向 量 ATTRIBUT ,可 以 由 原始 的 9 维 降 到 3 维 ， 而 几乎 不 失真 的 
加 以 表示 。 由 于 当 维 度 为 3 时 ， 特 征 值 已 经 较 小 ， 因 此 ， 还 可 以 进一步 降 到 2 维 空间 来 表示 
个 体 差异 。 个 体 属性 在 2 维 空间 的 重 构 如 图 10-9 所 示 。 











0.03 T T T T T T T T 
. X-0.0434 
Y:0.02487 X:0.0368 
0.02- 4 Y:0.01835 | 4 
X:0.007691 7 
0.01 + X:0.004377 Y:0.001529 4 
Y:0.0005684 
X:0.001428 fi 
= of Y:-0.0008798 一 , ou 
3 
-0.01 b 4 
5 
—0.02 F X:-0.04297 X:0.03589 ”- 
© Y-0.02524 Y:-0.0192 
-0.03 











1 上 1 | 1 1 1 1 
-0.05 -0.04 -0.03 -0.02 -0.01 0 0.01 0.02 0.03 0.04 
I 





图 10-9 T=5 时 个 体 属性 重 构图 








图 10-9 中 的 数字 是 与 表 10-1 参数 最 终 组 合 数 序 号 相对 应 的 。 从 图 中 可 以 看 出 ， 点 1、 
2 和 3 (分 别 对 应 于 9 值 的 I[、U 和 D 的 三 种 取 值 ) 之 间 的 距离 较 近 ,说 明 9 值 的 变化 只 能 
引起 个 体 情绪 自发 转移 的 少许 差异 ， 即 改变 9 对 于 个 体 情绪 自发 转移 的 差异 性 贡献 较 小 ; 点 
4、5、6 和 7 (分 别 对 应 于 7? 和 72 值 的 1 和 D 的 各 两 种 取 值 ) 间 的 距离 较 远 ,说明 or A 
ary 值 的 变化 能 够 引起 个 体 情绪 自发 转移 的 较 大 差异 ， 即 改变 zi 或 m7 对 于 个 体 情绪 自发 转 
移 的 差异 性 贡献 较 大 。 

2. 对 问题 2 的 分 析 

对 于 问题 2， 由 于 09 值 的 变化 只 引起 个 体 情绪 自发 转移 的 少许 差异 ， 可 以 忽略 ， 因 此 ， 
仅 讨 论 参数 zi 和 7; 值 的 变化 引起 何 种 个 体 情绪 差异 ， 即 只 讨论 点 4、5、6 和 7。 

图 10-10 中 ,维度 工 代表 情绪 强度 变化 率 向 量 A EC 的 第 一 个 维度 Ap 名 ， 维 度 工 代表 
情绪 强度 变化 率 向 量 A PO) 的 第 二 个 维度 Ap 。 点 4 和 点 7 在 维度 | 上 有 较 大 差距 ， 在 维 
度 开 上 差距 不 大 ; 点 4 和 点 6 则 相反 。 其 余 点 类 似 ， 他 们 的 相互 关系 如 图 10-10 所 示 。 

下 面 结合 点 4、 点 6 和 点 7 讨论 出 现 这 种 情况 的 原因 。 

根据 式 (10-4) 和 (10-41) 

APCS) = |P -P| =|P-A-P'|=|P.(4-D|=P- (I-A) (10-46) 
‘N=3 


l-a; aiz i3 





A pitl) _ t t t ` = 
“AP., = [P| P2 ps] az l -an a33 
a3, as; 1 -a,, 


Api =p, (1-an) +p) an +p; * az (10-47) 
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对 维度 I 无 影响 
2 







Point4:2,*=I=7,*+a 





Point5:2,*=D=7,*-B 


Point6: m*=I=m" +0 
Point7:m*=D=m*-ß 


到 10-10 ”参数 调整 对 个 体 情 绪 差 异 在 不 同 维度 上 的 影响 












SS 


对 维度 二 无 影响 

















a) 对 于 表 10. 1 的 组 合 4, a = [Ti +a m m? -a]。 由 式 (10-47) 得 ， 








3 
0(7 +a) -2 
pb hott et oars ce me ce 
i 2 i 1 i 1 
om a)? On” Or; -a) 
(10-48) 
b) 对 于 表 10-1 的 组 合 6, aw = [7， 7; +a 7; -a]。 由 式 (10-47) 得 ， 
Or” -2 
人 +p3 a 
(10-49) 


c) 对 于 表 10-1 的 组 合 7, m = [mm -B 7 +B]. MR (10-47) 得 ， 





k Apt” ley . : ; =p' 四 1 On, -2 +p! : 1 +p; : 1 
1 mT*=[7 m, -B m, +B) 1 * 2 6( Try =p) 3 0( am +B) 
out 2 t 1 t 


M +p, ° : + D3 . — 
OT, G7, -B) OCT, +B) 





(10-50) 
Wo) =m, =m, =m], 根据 式 (10-48) (10-49), ， 可 得 点 4 和 点 6 在 维度 [上 的 差距 为 


(Apis ” [at = [ay +a Ty ny -a]~ Apia (i [r Ty +a nf -a]l 





—2n'a ‘a 
d 5 - {p i) (10-51) 


~ br (7, +a) On, (m7, +a) On? (mi +a) 


点 4 和 点 7 在 维度 工 上 的 差距 为 
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(t+1) (t+1) 
| Apia aeir +a my T3 -a] — Api, EE my -6 7; +z | 





—2p' = 1 
_ - PiB — Pab a ae t (10-52) 
or (7T +a) Om (7 -B) 07 -a)(m? +B) 
a t+1) T 
i Apis : [3 =[m +a m my -a] ~ Apis n? lz =[7 my +a m -a] | 
PAE N (10-53) 
< APIS Fomor ta mý m3 -a] — Apia lee -tm my -B 73 +B) | 
所 以 ,点 4 和 点 6 在 维度 1 上 的 差距 小 于 点 4 和 点 7 在 维度 1 上 的 差距 。 


可 以 看 出 ， 以 上 推导 与 确定 时 刻 了 的 选取 无 关 ， 图 10-11 中 的 “.” 是 7=21 时 的 个 
体 属性 重 构 图 。 可 以 看 出 ， 确 定时 刻 改变 后 ， 重 构 效果 未 变 ， 说 明 上 述 结论 具有 代表 性 。 


0.025 - 








0.020 - 4 
P 

0.015 f 4 

0.010 + 4 


0.005 } 4 





@ 7=21 品 
—0.020 + 口 P10=0.2 P20=0.1 P30=0.7 7 


0.025 1 L 1 L 1 1 L 1 
0.05 -0.04 -0.03 -0.02 -0.01 0 0.01 0.02 0.03 0.04 
I 


Al 10-11 T=21 时 ,情绪 状态 初 值 改变 后 的 个 体 属 性 重 构图 


RE, HER mi 和 7; 分 别 同 向 增 大 或 减 小 时 ， 引 起 个 体 情绪 差异 在 情绪 强度 变化 率 
向 量 第 一 个 维度 上 的 变化 较 小 ; 反之 ， 当 参数 7， 和 7, 分别 异 向 增 大 或 减 小 时 ， 引 起 个 体 
情绪 差异 在 情绪 强度 变化 率 向 量 第 一 个 维度 上 的 变化 较 大 。 

3. 对 问题 3 的 分 析 

对 于 情绪 状态 初 值 P" 的 影响 ， 仅 进行 了 5 次 试验 。 改 变 情绪 状态 初 值 ， 个 体 属性 重 构图 
也 几乎 未 发 生 大 的 变化 。 图 10-11 中 “ 口 ” 是 其 中 的 一 次 重 构 效果 。 说 明 在 情绪 状态 自发 
转移 过 程 中 ， 情 绪 状态 初 值 的 设 定 对 个 体 情绪 差异 没有 较 大 影响 。 这 与 常识 是 符合 的 ， 因 
为 , 个 体 的 情绪 差异 是 内 在 的 、 本 质 的 ， 是 不 随 初始 情绪 状态 变化 的 。 

4. 结论 

通常 认为 情感 模型 中 的 参数 调整 是 影响 模型 输出 变化 的 诱因 ， 但 这 种 调整 是 否 一 定 能 
引起 个 体 情绪 差异 ， 以 及 对 个 体 情绪 差异 影响 的 程度 是 值得 探讨 的 。 本 部 分 针对 情绪 状态 
发 转移 马尔 可 夫 模 型 ， 研 究 了 不 同 参数 代表 的 个 体 情绪 差异 。 结 果 表 明 ，9 值 的 变化 只 能 引 
起 个 体 情绪 自发 转移 的 少许 差异 ，7“" 值 的 变化 能 够 引起 个 体 情绪 自发 转移 的 较 大 差异 。 参 
数 7 和, 分别 同 向 增 大 或 减 小 时 ， 引 起 个 体 情绪 差异 在 情绪 强度 变化 率 向 量 第 一 个 维度 
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上 的 变化 较 小 ; 反之 ， 当 参数 和 7, 分 别 异 向 增 大 或 减 小 时 ， 引 起 个 体 情绪 差异 在 情绪 
强度 变化 率 向 量 第 一 个 维度 上 的 变化 较 大 。 在 情绪 状态 自发 转移 过 程 中 ， 人 情绪 状态 初 值 的 设 
定 对 个 体 情绪 差异 影响 不 大 。 


10. 2.3 ”实用 性 研究 


人 与 机 器 人 的 交互 过 程 中 ， 和 情感 因素 的 引入 能 够 使 人 机 交互 更 加 自然 和 谐 。 因 此 ， 完 整 的 人 
工 情感 模型 的 建立 是 首要 解决 的 问题 。 基 于 情感 能 量 理论 基础 ， 本 部 分 首先 ， 提 出 了 心境 自发 转 
移 和 刺激 转移 模型 。 其 次 ， 结 合 情 绪 自发 转移 的 马尔 可 夫 链 模型 和 刺激 转移 的 HMM 模型 ， 将 心 
境 和 情绪 的 自发 转移 和 刺激 转移 过 程 统一 在 一 个 框架 下 。 最 后 ， 将 完整 的 人 工 情感 模型 软件 化 并 
应 用 于 儿童 玩 伴 机 器 人 上 ， 在 接受 非 结 构 化 环境 与 用 户 的 信息 输入 后 ， 个 性 化 的 情感 软件 模块 产 
生 输 出 ， 实 现 针对 儿童 用 户 的 玩 伴 机 器 人 个 性 化 交互 ， 并 通过 应 用 验证 了 该 模型 的 有 效 性 。 

1. 个 性 化 情感 模型 研究 基础 

由 于 情感 可 划分 为 心境 (Mood) 和 情绪 (Emotion) 2 个 广泛 的 分 类 ， 因 此 其 转移 过 程 
在 不 同 条 件 下 可 分 为 4 种 ， 如 图 10-12 所 示 。 














图 10- 12 展现 了 4 个 过 程 : 

1) 情绪 状态 刺激 转移 : 在 外 部 事件 刺激 下 ， 人 情感 状态 由 心境 的 动态 平衡 状态 移 到 某 种 
激发 水 平 的 情绪 激发 状态 ， 由 A 线 表示 ; 

2) 情绪 状态 自发 转移 ; 当 外 界 刺 激 作用 结束 后 ， 某 种 情绪 状态 将 在 一 定时 间 内 由 激发 
状态 自发 地 转移 到 心境 的 动态 平衡 状态 ， 由 B 线 表示 ; 

3) 心境 状态 刺激 转移 : 在 某 种 特异 性 外 部 事件 刺激 下 ， 心 境 状 态 在 以 心境 的 动态 平衡 
状态 为 中 心 的 一 定 范 围 内 发 生 转移 ， 由 C 线 表示 ; 

4) 心境 状态 自发 转移 : 在 外 界 刺激 消失 后 ， 某 种 心境 激发 状态 将 在 一 定时 间 内 自发 地 
向 心境 动态 平衡 状态 转移 ， 由 D 线 表示 。 

综合 上 述 ，4 个 过 程 分 别 对 应 玩 伴 机 器 人 中 的 4 个 个 性 化 情感 模型 . 

1) 情绪 状态 刺激 转移 过 程 的 随机 过 程 模 型 ; 

2) 情绪 状态 自发 转移 过 程 的 马尔 可 夫 链 模型 ; 

3) 心境 状态 刺激 转移 过 程 的 控制 论 模型 ; 





用 。 它 们 具有 一 致 的 理论 基础 。 在 心理 学 中 心理 能 量 观点 的 基础 上 ， 滕 少 冬 提出 了 情感 能 直 
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的 概念 ， 成 为 建立 个 性 化 情感 模型 的 出 发 点 和 基础 。 
心理 能 量 就 是 推动 个 体 进行 各 种 心理 活动 以 及 行为 的 能 力 ， 用 表示 。 它 有 2 种 基本 
表现 形式 : 
1) 自由 的 心理 能 量 E; 
2) 受 约束 的 心理 能 量 Eo EWA: 
E, =AE,E, =nE,n+A=1 (10-54) 
则 情感 能 量 可 以 用 下 式 表示 : 
E,=E,+yE,=(1-A)E+yAE=(1-AtyA)E (10-55) 
同时 , iE, =[En, Ep, ot, Buy] 为 上 时 刻 实际 表现 出 的 情感 强度 的 绝对 分 布 向 量 。 
此 向 量 的 求解 在 后 面 介 绍 。 
根据 巴 甫 洛 夫 高 级 神经 学 说 ， 由 于 生理 的 原因 ， 人 的 大 脑 神经 细胞 在 兴奋 与 抑制 2 种 状 
态 之 间 按 一 定 的 生理 机 制 呈 周 期 性 的 变化 ， 伴 随 着 这 种 变化 ， 个 体 的 意识 状态 也 将 在 清醒 与 
不 清醒 之 间 进 行 转化 ， 从 而 使 得 情感 能 量 ,在 表达 时 ， 旦 现 出 周期 性 的 变化 。 把 由 
Ey =ak, =a(l-A+yA)E (10- 
定义 的 情感 能 量 称 为 生理 性 激活 的 情感 能 量 ， 它 是 实际 用 于 表现 情绪 的 情感 能 量 ， 称 
a(0as1) 为 生理 性 唤醒 度 。 把 由 式 
Er =BE,=B(1-A+YA)E (10- 
定义 的 情感 能 量 称 为 生理 性 抑制 的 情感 能 量 ， 它 是 用 于 表现 心境 的 情感 能 量 ， 称 
B(0<B=1) 为 生理 性 抑制 度 。 有 旦 有: 
































a+B=1 (10-58 ) 
a All B 主要 由 生理 机 制 进行 周期 性 的 调节 ， 即 “生物 钟 ” 的 调节 。 另 外 ，a 和 B 还 会 受 
到 某 些 外 界 刺激 的 和 干扰。 心理 能 量 以 及 情感 能 量 的 各 种 形式 以 及 转化 关系 如 图 10-13 所 示 。 






的 情感 能 量 












生理 性 抑制 
的 情感 能 量 
ES=BE, 
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从 动力 心理 学 的 观点 来 看 ,个 体 产 生 各 种 不 同情 绪 的 过 程 ， 实 际 上 就 是 激活 的 情感 能 量 
应 在 不 同情 绪 状态 之 间 的 动态 分 配 过 程 ， 图 10-13 的 左下 半 部 分 反映 了 这 样 的 关系 。 

EY =[En, Em, +, Ew] 为 上 时 刻 实 际 表 现 的 情绪 强度 绝对 分 布 向 量 ，| | 
[0, 1], ie 11，2，…，N| 是 激活 的 情感 能 量 在 各 维度 的 能 量 值 分 量 。 根 据 情感 能 量 守恒 
定律 ， 有 下 式 成 立 : 


H 


M 


pang 


| 


= 


> |E®|=E: (10-59) 

生理 性 抑制 的 情感 能 量 EF 在 积极 心境 与 消极 心境 之 间 变 化 ， 由 其 引起 的 心境 强度 变化 
如 图 10-13 的 右 下 半 部 分 所 示 。 

相应 的 ， 称 8 =[B%, Eh, o, EAJ 为 + 时 刻 实际 表现 的 心境 强度 绝对 分 布 向 量 ， 并 

设 与 积极 情绪 对 应 的 心境 个 数 是 m， 与 消极 情绪 对 应 的 心境 个 数 是 n， 则 m +n =N。 其 中 . 





Me 
+ —“if conditionl 
Be = if , condition! 是 指 分 量 ; 属于 积极 心境 ; condition. 是 指 分 量 i 属 
-一 if condition2 
n 





于 消极 心境 。Me 为 上 时 刻 的 心境 强度 ， 其 计算 方法 在 后 面 介绍 。 
(1, 2, s+, N) 是 生理 性 抑制 情感 能 量 在 各 维度 上 的 能 量 值 分 


> |E] =# (10-60) 


ROSES, -1<SE4<1, EXT 3 种 运算 : +, -, A HY, +, -BRMR 
数 域 尺 中 的 加 法 和 减法 运算 相似 ， 但 加 法 不 具有 交换 律 性 质 。 即 : VE“ s [0, 1], Be 
[-1, 1], E% + ER ARS +E", A 运算 定义 为 

1 E% +E 21 
EX +E 0<E“ 4 E* <1 
ACER ER) O a 
"O". [ES-ES 0<E% -Ef <1 
0 E% — Ef, <0 

由 于 情感 可 划分 为 心境 和 情绪 ， 则 时刻 的 情感 强度 定义 为 : 

E, = (En Ee. Bn] =A Eo Bio ot Emn], En ,Es,., En]) 
= [ACE Eh) ACE2 Bi) ACE Eby) ] 

由 式 (10-61) 可 知 ,it 时刻 的 情感 强度 与 心境 强度 和 情绪 强度 有 关 ， 根据 上 述 的 4 个 
转移 过 程 ， 它 们 的 求解 在 下 面 将 分 别 进行 介绍 。 

2. 心境 自发 转移 

Larsen 认为 ， 平均 的 、 稳 定 的 心境 特征 并 没有 真实 地 反映 个 体 的 心境 特征 ， 心 境 随 着 时 
间 的 推移 ， 其 性 质 (好 或 不 好 ) 以 及 强度 ( 弱 或 极度 ) 是 变化 的 。Parkinson 认为 与 心境 动 
态 性 有 关 的 理论 有 动态 平衡 理论 、 社 会 牵引 理论 和 非 线 性 动态 理论 。 并 把 影响 心境 的 因素 分 
为 三 类 ， 其 中 之 一 来 自 个 体内 源 性 因素 ， 如 人 格 和 生理 因素 。 这 里 的 心境 自发 转移 模型 就 是 
从 个 体内 源 性 角度 建立 的 。 


(10-61) 
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(1) 人 格 对 心境 的 影响 

对 不 同 的 人 而 言 ， 所 体验 到 的 心境 可 能 不 同 ， 换 名 话说 存在 着 个 体 差异 ， 这 种 差异 来 自 
于 相对 稳定 的 人 格 。 同 时 ， 人 格 特征 又 决定 了 心境 水 平和 心境 变化 性 ,心境 自发 地 在 相对 稳 
定 的 心境 特征 水 平 附 近 波 动 ， 我们 用 C 表示 由 人 格 决 定 的 心境 特征 水 平 ， 如 图 10- 10 右 下 部 
分 的 横 线 描述 。 由 多 种 因素 的 影响 ，C 在 积极 消极 分 界线 左右 一 定 范 围 内 变动 ， 假 
iCe[-1, +1]. 

(2) 生理 因素 对 心境 的 影响 

个 体 的 生理 ' o ae eee t 的 变化 而 有 所 波动 。 

1) 心境 的 昼夜 波动 : 根据 Watson 的 人 研究， 积极 心境 在 一 天 中 的 趋势 是 早上 较 低 ， 而 后 
在 一 天 中 的 某 个 时 间 上 升 到 最 大 值 ; 接着 逐渐 下 降 ， 在 晚上 达到 最 低 。 此 过 程 用 一 余弦 函数 
ocos (wj t) RR, F, o 是 心境 的 昼夜 影响 因子 ，2m/ow; 是 心境 的 昼夜 波动 周期 。 

2) 心境 的 周 变化 : 根据 Larsen 与 Kasimatis 的 研究 发 现 ， 具 有 正弦 波 的 7 天 间隔 解释 了 
日 常 心境 的 变化 。 积 极 心境 在 周 五 达到 顶峰 ， 在 周二 处 于 最 低 。 此 过 程 用 一 正 粥 函数 sin 
(w, t) 表示。 其中， z 是 心境 的 周 变化 影响 因子 ， 27/w, 是 心境 的 周 变 化 周期 。 

3) 心境 的 月 变化 : 主要 是 针对 女性 的 月 经 周期 循环 的 心境 效应 ， 因 此 ， 此 项 对 心境 的 
影响 是 个 性 化 的 ， 具 有 性 别 差 异 。 此 过 程 用 一 正弦 函数 rsin (wt) 表示 。 其 中 , 7 是 心 

境 的 月 变化 影响 因子 ，27/w; 是 心境 的 月 变化 周期 。 

4) 心境 的 季节 变化 : Watson 认为 在 理论 上 积极 情感 应 该 有 一 个 显著 的 季节 模式 。 春 季 
的 积极 心境 水 平 较 高 ， 接 着 在 夏季 和 秋季 逐渐 下 降 ， 最 终 达到 冬季 的 最 低 点 。 此 过 程 用 一 正 
XE vsin (o1) ER HP, v 是 心境 的 季节 变化 影响 因子 ，2m/w, 是 心境 的 季节 变化 
周期 。 

根据 以 上 周期 性 变化 有 or，:,，r,， ve [0, 1], c++T+UV=1，w=7owo=30 
w, =365w, 。 对 于 男性 用 户 , Mo=0.7, £=0.2, 7=0, v=0.1; 对 于 女性 用 户 ， 取 
o=0.5, C=0.2, 7=0.2, v=0.1。 由 于 心境 的 变化 缓慢 有 昌 某 一 心境 常常 能 持 
时 间 ， 因 此 ， 这 里 每 隔 1h 计算 一 次 心境 量 值 ， 心 境 的 昼夜 波动 模型 中 ， 周 期 取 24h， 
则 w, =27/24, 

人 格 和 生理 因素 对 心境 的 动态 变化 共同 产生 影响 ， 设 心境 的 人 格 影响 因子 为 少 ， 心 境 的 
生理 因素 影响 因子 为 <， 且 有 : 

Wel(0,1l),ée(0,1),w +é=1 (10-62) 

建立 的 心境 自发 转移 模型 为 

> =é€* [ocos(@ :1) +fsin(w, +t) +7sin(@, +t) +vsin(w, 1) |] + -C (10-63) 

M8 动态 变化 范围 的 确定 : 

acos(ol ‘1t)el -0o,+0 |] 
fsin(w, +t) e[ -£, +2] 


Tsin(@, °t) €[ -T, +7] i 
















































































因为 ， 


vsin(@, +t) e[ -v, +v] 
所 以 ， 


[ccos(wj :1) +Zsin(w, * t) +7sin(w, +t) +vsin(w, * 1)] 
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el( -o0-¢£-T-v),( +0+f4+7+0v) ] 
=[-(a0+f4+7T+v),(o0+f4+7T+0v) ] 
=[-1,1] 
因为 , Ce[-1, +1] 
所 以 ， 
JE [(-&-w),(é+H) = -(€+4),(€+H)]=0-1, +1] (10-64) 
XER y=0.5, €=0.5, 
以 上 参数 中 ,，w;，ie {1, 2,3, 4) 取 值 较 大 时 ， 相 应 的 生理 性 周期 变化 引起 的 心境 
随 着 时 间 :的 波动 周期 越 小 ， 即 心境 变化 性 越 强 。 
3. 心境 刺激 转移 
在 外 部 因素 事件 和 情境 刺激 下 ， 心 境 和 情绪 都 受到 影响 ,但 其 变化 过 程 是 有 区 别 的 ， 第 
一 ， 持 续 时 间 上 的 差别 ; 第 二 ， 相 对 强度 上 的 差别 ; 第 三 ， 信 和 号 功能 上 的 差异 。 如 前 所 述 ， 
对 于 情绪 受到 刺激 后 的 变化 过 程 ， 利 用 HMM 这 个 双重 随机 过 程 来 构造 情绪 状态 刺激 转移 过 
程 的 情感 模型 ， 用 HMM 的 前 向 和 后 向 算法 来 模拟 情绪 在 外 界 刺激 下 的 变化 规律 ， 这 一 方法 
在 后 面 将 会 介绍 ; 对 于 心境 受到 刺激 后 的 变化 过 程 ， 则 采用 控制 论 的 调整 策略 进行 研究 。 
Larsen 提出 应 将 控制 理论 应 用 到 心境 调节 的 动态 过 程 中 。 根 据 此 观点 对 心境 的 刺激 转移 
过 程 建 模 。 
根据 已 有 研究 ， 心 境 对 刺激 的 反应 强度 是 略微 平 组 的， 一 阶 惯 性 环节 更 适合 描述 。 
定义 心境 的 刺激 转移 模型 为 








TMË +M” =E o (t) (10-65) 
其 中 ，7 称 为 心境 转移 时 间 常 数 ， 它 是 表征 心境 发 生 转 移 惯性 的 一 个 重要 参数 。 有 研究 
发 现 ， 女 性 可 能 比 男性 更 容易 受 情绪 传染 或 影响 ， 因 此 ,7 参数 也 是 男女 性 别 差异 对 心境 的 
影响 参数 之 一 ， 是 个 性 化 参数 。 后 面 将 会 介绍 此 参数 对 心境 激发 子 过 程 的 影响 。E,,,(t) 是 
外 源 性 因素 ( 如， 工作 方式 、 生 活 事件 、 家 中 变故 等 ) 对 心境 的 影响 强度 。 
心境 的 刺激 转移 过 程 分 为 两 2 个 子 过 程 。 
(1) 心境 激发 子 过 程 
该 子 过 程 与 一 个 零 状态 响应 过 程 类 似 。 假 设 心 境 在 上 时 刻 受 某 一 外 源 性 因素 激发 时 ， 心 
境 强 度 初 值 为 M% e [ -1，+1]， 则 事件 影响 强度 为 
1 — Mio event 为 积极 情绪 事件 
-l- Me event 为 消极 情绪 事件 
在 此 条 件 下 ,求解 式 (10-65) 表示 的 心境 刺激 转移 模型 。 
L[ TM® +M” = 已 (iD)] 
>T(sMẸ - MP) +M® =E gens) 
=>T(sM® -0) + MË =E gols) 





Even (t) = (10-66) 





(10-67) 
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= . l ] 
? s (Ts +1) 
=F a(t) [1-e 

其 中 , Le), L [O] 分 别 为 拉 普 拉 斯 变换 和 反 变 换 。 

根据 心理 学 中 情绪 反应 的 时 间 动 力 性 基本 概念 ， 可 以 定义 心境 中 相应 的 概念 。 

称 了 7 为 心境 反应 调节 时 间 ，7 47。 这 个 参数 表达 了 心境 从 初始 强度 Mo 变化 到 -0. 98 
或 +0.98 ( -1 或 +1 的 +2%) 的 最 短 时 间 。 

称 也 为 心境 反应 延迟 时 间 ， 思 =0. 697。 这 个 参数 表达 了 心境 从 初始 强度 MW 第 一 次 达 
Bl E(t) x50% 所 需 的 时 间 。 

称 7 为 心境 反应 上 升 时 间 ，7, ~2.207。 此 参数 表达 了 心境 从 强度 MM + Es (1) x 
10% 第 一 次 上 升 达 到 MEO + E(t) x90% 所 需 时 间 (event 是 积极 情绪 事件 ) ， 或 从 强度 
ME + Ego (t) x10% 第 一 次 下 降 达 到 ME + BL. l(t) x90% 所 需 时 间 (event 是 消极 情绪 
事件 ) 。 

根据 上 述 的 三 个 定义 ， 可 以 看 到 心境 反应 调节 时 间 的 快慢 ， 心 境 反应 延迟 时 间 和 心境 反 
应 上 升 时 间 的 长 短 ， 包 含 了 重要 的 个 体 差异 信息 。 这 三 个 值 都 与 心境 转移 时 间 常 数 了 了 有关。 
因此 ，7?7 参数 是 男女 性 别 差异 对 心境 产生 影响 的 参数 之 一 ， 是 个 性 化 参数 ， 其 大 小 对 心境 激 
发 子 过 程 是 有 影响 的 。 

图 10-14a 是 当 7=0.5 MT=0.9, Ealt) =1 时 ， 心 境 激发 子 过 程 。 从 图 中 可 以 看 出 ， 
心境 反应 调节 时 间 、 心 境 反应 延迟 时 间 和 心境 反应 上 升 时 间 均 不 同 ， 反映 了 男女 性 别 差异 对 
心境 的 影响 。 

心境 强度 We 在 某 一 外 源 性 因素 的 持续 激发 下 不 断 变 大 ， 表 现 出 了 事件 的 影响 随时 间 的 
积累 作用 。 但 其 变化 率 却 不 断 变 小 ， 即 影响 随时 间 变 小 ， 表 明了 心境 在 某 一 特定 时 间 刺 激 
下 ， 越 来 越 不 敏感 ， 对 此 事件 的 发 生变 得 麻木 ， 如 图 10-14b 所 示 。 

(2) 心境 衰减 子 过 程 

该 子 过 程 与 一 个 零 输 入 响应 过 程 类 似 ， 出 现在 心境 激发 子 过 程 之 后 。 假 设 在 上 时 刻 外 源 
性 因素 对 心境 的 影响 消失 E(t) =0， 消 失 时 的 心境 强度 初 值 为 We" es[-1，+1]。 

在 此 条 件 下 ， 求 解 式 (10-65) 表示 的 心境 刺激 转移 模型 。 

LUT M” +M” =E....(t)] 
=>T(sM® - Mio) +M® =0 
=> (Ts +1) M? = TM 


1 
(Ts +1) 


























(10-68 ) 


= Me = TMS ， 





1 
(Ts +1) 


其 中 , Le), L [o] 分 别 是 拉 普 拉 斯 变换 和 反 变 换 。 

为 了 便于 计算 机 实现 心境 刺激 转移 模型 ， 需 要 求解 微分 方程 式 (10-65) 的 差分 方程 
形式 。 

根据 式 (10-65), A 
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图 10-14 心境 激发 子 过 程 与 强度 变化 率 
a) 心境 激发 子 过 程 b) 强度 变化 率 








Bt 

P Bt 一 - 
TP + MO = Exon) (10-69) 
dM" E (t) -M® 

Bt > event P A 
T= F (10-70) 


根据 欧 拉 法 ， 可 得 . 
_ y” 
Men = Me +h P Sah M; (10-71) 
其 中 , h 称 为 步 长 ， 是 计算 心境 强度 的 间隔 时 间 ， 这 里 取 h=0. 02, 
这 种 微分 方程 差分 化 ， 可 以 为 人 工 心理 模型 在 计算 机 上 的 应 用 带 来 方便 ,但 也 会 带 来 一 
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定 误差 ， 见 表 10-2 和 表 10-3, 
表 10-2 差分 化 后 的 误差 (心境 激发 子 过 程 ) 




















n ta MP MA e = Me — MA 
0 0 0 0 0 

1 0. 02 0. 0392 0. 0400 - 0. 0008 

2 0. 04 0. 0769 0. 0784 -0. 0015 

3 0. 06 0. 1131 0. 1153 -0. 0022 
4 0. 08 0. 1479 0. 1507 —0. 0028 

5 0. 10 0. 1813 0. 1846 -0. 0033 


R 10-3 差分 化 后 的 误差 (心境 衰减 子 过 程 ) 





























n i Me oes e = Me — MA 
0 0 0. 9817 0. 9838 -0. 0021 
1 0. 02 0. 9432 0. 9445 -0. 0013 

2 0. 04 0. 9062 0. 9067 -0. 0005 

3 0. 06 0. 8707 0. 8704 0. 0003 

4 0. 08 0. 8365 0. 8356 0. 0009 

5 0. 10 0. 8037 0. 8022 0. 0016 





从 表 10-2 和 表 10-3 中 可 以 看 出 ， 微 分 方程 差分 化 后 的 误差 为 10 一 数量 级 ， 因 此 ， 仍 采 
用 差分 的 方法 计算 1 时 刻 的 情感 强度 ， 以 利于 情感 计算 的 计算 机 实现 。 

4. 针对 特定 用 户 的 个 性 化 情感 

(1) 完整 的 情感 模型 与 情感 滤波 器 

如 前 所 述 ， 在 概率 空间 的 基础 上 ， 可 将 情绪 的 变化 过 程 看 成 一 个 随机 过 程 ， 并 进一步 用 
马尔 可 夫 链 来 描述 情绪 状态 自发 转移 过 程 ， 进 而 给 出 基本 方程 以 及 计算 方法 。 

实验 中 ， 以 儿童 玩 伴 机 器 人 为 实验 平台 ,通过 应 用 来 验证 模型 的 有 效 性 。 人 情感 的 发 生 通 
常 都 是 混合 的 。 儿 童 玩 伴 机 器 人 在 上 时 刻 究 竟 处 于 那 种 情绪 状态 ， 可 由 pr* 中 的 各 个 分 量 的 
相对 大 小 来 确定 。 这 里 取 情 感 维度 中 最 大 强度 值 对 应 的 情感 状态 为 需要 表达 的 情感 。 

以 上 的 情绪 状态 刺激 转移 模型 、 情 绪 状 态 自 发 转移 模型 、 心 境 状 态 刺激 转移 模型 、 心 境 
状态 自发 转移 模型 和 情感 滤波 器 ， 共 同 组 成 了 一 个 完整 的 人 工 情感 模型 体系 。 

(2) 个 性 化 人 工 情感 软件 

基于 上 述 理论 ， 开 发 了 一 个 针对 特定 用 户 的 机 器 人 个 性 化 情感 模型 软件 ， 如 图 10-15 
所 示 。 

此 软件 应 用 于 儿童 玩 伴 机 器 人 中 ， 在 用 户 与 其 对 话 、 触 摸 、 动 作 等 交互 方式 的 激励 信息 
下 ， 通 过 情感 软件 模块 ， 产 生 个 性 化 的 输出 ， 例 如 ， 控 制 机 器 人 产生 表情 ， 如 图 10-16 所 
示 ， 实 现 个 性 化 的 交互 。 

5. 结论 

以 情感 能 量 为 出 发 点 ， 从 个 体内 源 性 因素 角度 建立 心境 自发 转移 模型 ， 从 控制 论 的 角度 
建立 心境 刺激 转移 模型 。 由 于 是 从 情感 能 量 为 出 发 点 进行 推 洽 ， 为 所 提出 的 心境 模型 与 情绪 
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10-16 ”情感 控制 机 器 人 产生 表情 











模型 的 结合 创造 了 条 件 。 为 此 ， 把 心境 、 情 绪 四 个 模型 统一 到 一 个 框架 下 ， 并 进行 软件 化 ， 
开发 了 个 性 化 人 工 情感 软件 系统 ， 并 将 其 应 用 于 机 融 人 情感 控制 方面 。 

人 格 和 生理 因素 影响 心境 的 自发 转移 过 程 ， 心 境 转移 时 间 常 数 了 也 影响 到 刺激 转移 过 
程 。 通 过 调整 模型 中 的 参数 ， 可 以 实现 具有 个 体 差异 性 的 情感 表达 。 以 儿童 玩 伴 机 器 人 为 实 
验 平台 ,通过 应 用 来 验证 模型 的 有 效 性 。 

本 章 所 提出 的 心境 模型 以 及 开发 的 软件 系统 ， 可 用 于 服务 机 器 人 、 家 用 机 带 人 等 需要 个 
性 化 服务 的 人 机 交互 领域 。 其 中 ， 模 型 参数 的 合理 选取 与 模型 应 用 领域 的 拓展 也 有 待 进一步 
深入 研究 。 


10.2.4 ”基于 机 器 学 习 的 情感 模型 


Simon 认为 学 习 是 能 够 让 系统 在 执行 同一 任务 或 相同 数量 的 另外 一 个 任务 时 ， 比 前 一 次 
执行 得 更 好 的 任何 改变 。 机 器 学 习 所 关注 的 问题 是 “计算 机 程序 如 何 随 着 经 验 积累 自动 提 
高 性 能 ” 。 简 而 言 之 ， 机 器 学 习 系统 是 根据 人 工 智 能 的 学 习 原 理 和 方法 ， 应 用 知识 表达 、 知 
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识 存储 和 知识 推理 等 技术 设计 和 构成 的 ， 具 有 知识 获取 功能 ， 并 能 通过 学 习 增 长 知识 、 改 进 
其 性 能 并 提高 智能 水 平 的 系统 。 机 带 学 习 的 基本 模型 如 图 10-17 所 示 ， 其 作为 核心 的 执行 环 
节 对 情感 学 习 的 意义 重大 。 机 器 学 习 的 理论 和 算法 可 应 用 到 虚拟 的 人 机 交互 领域 中 ， 尤 其 是 





在 情感 信息 


人 脸 表 情 识别 中 被 广泛 使 用 ， 并 且 能 达到 较 高 的 识别 率 。 


通过 对 环境 的 搜索 获得 外 部 信息 ， 利 用 


下 面 介 绍 几 种 常用 的 机 需 学 习 算法 ， 并 对 它们 的 适用 范围 和 优 缺 点 进行 简单 介绍 ， 





这 些 信息 对 知识 库 进 行 改进 。 并 将 这 些 信息 
与 执行 环节 所 反馈 的 信息 进行 比较 。 


用 于 处 理 面临 的 实际 问题 ， 即 应 用 知 


识 库 中 所 学 到 的 知识 求解 问题 ， 并 对 执行 
的 效果 进行 评价 ， 将 评价 的 结果 反馈 给 学 
习 环 节 ， 使 系统 进一步 学 习 。 





图 10-17 ”机 器 学 习 的 基本 模型 








10-4 几 种 常用 的 机 器 学 习 算法 简介 





存储 操作 知识 


Ey 


核心 





的 数据 挖 据 和 信息 识别 中 可 得 到 广泛 应 用 。 例 如 ， 机 带 学 习 的 热点 算法 SVM 在 


见 表 10-4。 

















































































































































































































名 称 算法 简介 适用 问题 优 点 局 限 性 应 用 举例 性 能 比较 
应 用 最 广 的 fe — Pp iE XVE 对 噪声 数据 存在 过 度 拟 最 早 的 著 贝尔 实验 室 
归纳 推理 算法 | 离散 值 函 数 的 | 有 很 好 的 健壮 | 合 训练 数据 的 | 作 是 Hunt 的 | 对 美国 邮政 手 
之 一 ， 其 中 广 | 方法 ,目标 函 | 性 ; 能 够 学 习 | 问题 。 因 为 向 PRE IA | 写 数 字库 识别 
为 应 用 的 决策 | 数 具 有 离散 的 | 析 取 表达 式 ; | 树 增 加 分 文 可 | Se CLS， 此 | 进行 试验 ， 
树 算法 有 ID3、| 输出 值 ; 训练 | 可 搜索 一 个 完 | 以 提高 训练 样 | 后 算法 的 不 | 中 人 工 识 别 的 
Hee HEED) ASSISTANT 和 | 数据 可 以 有 错 整 表示 的 假设 例 的 性 能 ， 旧 | 断 改进 被 广 | 平均 错误 率 是 
C4.5。 利 用 这 | 误 ; 训练 数据 | 空间 ， 避 免 了 | 却 降低 了 在 训 | 泛 应 用 到 面 | 2.5%; H 
种 方法 学 习 到 | 可 以 包含 缺少 | 受 限 假设 空间 | 练 实例 外 的 其 | 部 表情 识别 | 策 树 方法 识别 
的 函数 常 被 表 | 属性 值 的 实例 ; | 的 不 足 他 实例 的 性 能 “| 和 语音 情感 | 错 误 率 是 
示 为 一 棵 决 | 常 被 应 用 到 分 识别 中 ， 其 | 16.2% 
策 树 类 问题 对 情感 的 分 
ANN 是 以 对 于 学 复杂 ANN 提供 了 ANN 的 学 习 ANN JX [fl 贝尔 实验 室 
类 比 于 生物 | 的 现实 世界 中 | 一 种 普 适 的 方 | 时 间 相 对 较 长 ; | 传播 算法 在 | 对 美国 邮政 手 
神经 系统 处 | 的 传 感 数据 ,| 法 ,可 以 从 样 | 且 神 经 网 络 方 | 实际 应 用 中 | 写 数字 库 识 别 
理 信息 的 方 | ANN 是 目前 最 | 例 中 学 习 值 为 | 法 学 习 到 的 权 | 取得 了 惊人 | 进行 试验 ， 两 
人 工 神经 网 | 式 ， 是 采用 | 有 效 的 学 习 方 | 实数 、 离 散 值 | 值 经 常 是 人 类 | 的 成 功 ， 如 | 层 神 经 网 络 中 
络 ( Artificial | 大 量 简单 处 | 法 ; 当 训 练 集 | 或 向 量 函 数 ; | 难以 解释 的 ，| 学 习 识 别 手 | 错误 率 最 小 的 
Neural Ne- | 理 单 元 并 行 | 合 为 含有 噪声 | 具有 高 度 并 行 | 因此 学 到 的 神 | 写字 符 、 学 | 是 5.9% ， 专 
works, ANN) | 连接 而 成 的 | 的 复杂 传感器 | 性 、 快 速 判决 | 经 网 络 比 学 到 | 习 识别 人 脸 | 门 针 对 该 识别 
一 种 复杂 信 | 数据 (如 摄像 | 性、 容错 性 等 | 的 个 则 难以 传 | 和 语音 等 | 问题 设计 的 五 
息 处 理 系统 | 机 和 传送 器 的 | 特点 达 给 人 类 方面 民 神 经 网 络 的 
数 据 )，ANN 错误 率 是 
将 非常 有 效 5.1% 
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( 续 ) 
名 B 算法 简介 适用 问题 优 点 局 限 性 应 用 举例 性 能 比较 
SVM 是 建 它 在 解决 小 在 对 同一 类 SVM 是 针对 SVM 很 适 贝尔 实验 室 
立 在 统计 学 | 样本 、 非 线性 | 数据 进行 分 析 | 二 类 别 分 类 问 | 合 分 类 规则 | 对 美国 邮政 手 
习 理论 的 VC | 及 高 维 模式 识 | IN, SVM 的 精 | 题 而 提出 的 ，| 挖掘 ， 而且 | 写 数 字库 识别 
维 理 论 和 结 | 别 中 表现 出 许 | 确 度 较 之 其 他 | 如 何 将 其 扩展 | 成 功 应 用 到 | 进行 试验 ， 利 
构 风 险 最 小 | 多 特有 的 优势 ，| 方法 有 明显 的 | 到 多 类 别 分 类 | 了 人 脸 表 情 核 函 数 分 别 
原理 基础 上 | 并 能 够 推广 应 | 优势 ; 且 由 支 | 是 一 个 重要 问 | 识别、 文本 | 为 多 项 式 、 
支持 向 量 机 | 的 ， 根 据 有 | 用 到 函数 拟 合 | 持 向 量 机 设计 | Bl, SVM 方法 | 分 类 、 基 音 | RBF、 感 知 器 所 
(Support Vector) 限 的 样本 信 | 等 其 他 机 器 学 | 的 主管 一 蓝 星 | 在 小 样本 学 习 | 分析、 手写 | 形成 的 三 种 
Machine, SVM) 息 在 模型 的 | 习 问 题 中 相对 神经 网 络 | 上 具有 优势 ，| 体 识 别 、 语 | SVM 方法 得 到 
复杂 性 和 学 要 小 一 些 ; 具 | 但 训练 速度 很 | 音 情 感 识 别 | 的 错误 率 分 别 
习 能 力 之 得 有 强大 的 非 线 | 慢 , 样本 数量 | 等 多 种 领域 | 是 40%, 4.1% 
寻求 最 佳 折 性 和 高 维 处 理 | 越 多 速度 就 和 4. 2% 
中 ， 以 期 获 能 越 慢 
得 最 好 的 推 
广 能 力 




















从 表 中 可 以 看 出 ， 机 器 学 习 的 各 种 算法 在 面部 表情 识别 中 得 到 了 广泛 的 应 用 ， 并 且 也 取 
得 了 不 俗 的 识别 率 。 但 是 在 情感 模型 中 的 应 用 还 比较 少 ， 目 前 北京 科技 大 学 的 王 志 良 教授 所 
带领 的 团队 正 对 这 一 领域 进行 深入 研究 。 在 本 小 节 中 只 是 简单 地 介绍 简单 的 理论 框架 ， 详 细 
的 情感 建 模 理论 以 及 仿真 实验 是 后 续 工 作 的 重点 之 一 。 下 面 我 们 以 简单 的 决策 树 学 习 算 法 为 
例 介绍 机 融 学 习 的 内 容 。 

1. 决策 树 学 习 的 表示 法 

在 机 器 学 习 的 各 种 学 习 算 法 中 ,决策 树 学 习 是 应 用 最 广 的 归纳 推理 算法 之 一 ， 它 是 
ALT A CAL RAII A, CEP TT IA PS Od BAY PRN ARR. EI FS BURR 
树 也 能 再 被 表示 为 多 个 让 由 en 的 规则 ， 以 提高 可 读 性 ， 并 且 决 策 树 学 习 对 噪声 数据 有 很 好 
的 健壮 性 且 能 够 学 习 析 取 表 达 式 。 

决策 树 通 过 把 实例 从 根 节点 排列 到 某 个 叶子 节点 来 分 类 实例 ， 叶 子 节 点 即 为 实例 所 属 的 
分 类 。 树 上 的 每 一 个 节点 指定 了 对 实例 中 茶 个 属性 的 测试 ， 并 且 该 节点 的 每 一 个 后 继 分 支 对 
应 于 该 属性 的 一 个 可 能 值 。 分 类 实例 的 方法 是 从 这 棵 树 的 根 节 点 开始 ， 测 试 这 个 节点 指定 的 




















属性 ， 然 后 按照 给 定 实例 的 属性 值 将 对 应 的 树 校 同 下 移动 。 然 后 这 个 过 程 在 以 新 节点 为 根 的 
子 树 上 重复 。 


2. 决策 树 学 习 的 适用 范围 

通常 决策 树 学 习 最 适合 具有 以 下 特征 的 问题 : 

1) 实例 是 由 “属性 一 一 值 ”对 表示 的 ; 

2) 目标 函数 具有 离散 的 输出 值 ; 

3) 可 能 需要 析 取 地 描述 ; 

4) 训练 数据 可 以 包含 错误 ; 

5) 训练 数据 可 以 包含 缺少 属性 值 的 实例 。 

正 是 由 于 现实 中 有 很 多 问题 符合 这 些 特 征 ， 所 以 决策 树 学 习 已 经 被 应 用 到 众多 领域 。 在 
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机 器 人 情感 建 模 研 究 中 ， 我 们 希望 在 人 与 机 器 的 交互 过 程 中 ， 通 过 一 系列 有 效 的 传 感 咒 ， 得 
到 关于 人 的 面部 表情 ， 语 气 语 调 ， 以 及 机 器 的 肢体 接触 等 情感 信息 ; 通过 分 析 这 些 情感 信 
息 ， 建 立 起 机 器 人 在 某 种 情况 下 所 对 应 的 情感 表达 模型 。 

3. 基于 决策 树 学 习 的 情感 建 模 

大 多 数 已 开发 的 决策 树 学 习 算 法 是 一 种 核心 算法 的 变 体 。 该 算法 采用 自 项 向 下 的 贪 焚 搜 
索 遍 历 可 能 的 决策 树 空 间 。 这 种 方法 是 ID3 算法 和 后 继 的 C4. 5 算法 的 基础 。ID3 算法 的 核 
心 问题 是 选取 在 树 的 每 个 结 点 要 测试 的 属性 ， 它 在 增长 树 的 每 一 步 使 用 信息 增益 标准 从 候选 
属性 中 选择 属性 ， 也 就 是 说 ， 把 哪个 节点 作为 根 节 点 来 划分 决策 树 是 算法 的 重点 。 信 息 增益 
的 公式 如 下 : 








Entropy(S) = -P ,log,P , - P _log,P _ 
G(S,A) =Entropy(S) - > 人 Enaopy(31) (10-72) 
要 想 构 造 好 的 决策 树 选择 好 的 属性 是 关键 ， 那 么 对 于 同样 一 组 例子 ， 可 以 有 很 多 决策 树 
与 其 相符 。 人 们 研究 出 ， 一 般 情 况 下 ， 树 越 小 则 树 的 预测 能 力 越 强 。 要 构造 尽 可 能 小 的 决策 
树 ， 关 键 在 于 选择 恰当 的 逻辑 判断 或 属性 。 
本 小 节 以 ID3 算法 为 主 ， 并 且 以 一 个 简单 的 例子 来 说 明 决 策 树 在 机 器 人 情感 建 模 中 的 
应 用 。 
在 人 与 机 如 人 进行 交互 的 过 程 中 ,提取 人 的 部 分 特征 ， 如 语气 (UE, KIIR), SIE 
(AER, RIT) 和 声音 (大 、 小 ) 。 相 应 地 ， 机 器 人 做 出 “皱眉 ”或 者 “微笑 ”两 种 表情 。 
具体 数据 见 表 10-5, 














表 10-5 情感 建 模 数据 表 



































序 号 语 A 动 作 音 E w £ 
1 温柔 触摸 大 YES 
2 温柔 触摸 小 YES 
3 温柔 Ti K YES 
4 温柔 Tt 小 YES 
5 XI 狠 触摸 大 NO 
6 XJR 触摸 小 NO 
7 XIJ TE K NO 
8 XI 狠 Tii 小 NO 



































此 时 ， 我 们 可 以 采用 ID3 算法 建立 起 一 棵 决策 树 。 步 又 如 下 : 

首先 ， 计 算 每 一 个 候选 属性 (语气 、 动 作 和 音量 ) 的 信息 增益 ， 然 后 选择 
高 的 一 个 。 三 个 属性 的 信息 增益 为 

Value (语气 ) = 温柔， 凶狠 ; 











信息 增益 


5 
ill 








F 














S=[4+,4-]; 
Syg =[4+,0-]; 


Saw =[0+,4-]; 
C(S ,语气 ) =info(4,4) -0.5info(4,0) -0.Sinfo(0 ,4) 
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info(4,4) = -0. 5log,0. 5 - 0. Slog,0. 5 =1 
info(4,4) = -0. 5log,0. 5 - 0. Slog,0. 5 =1 
info( 4,0) = -log,l -0 =0 = info(0,4) 
C(S ,语气 ) =1 
C(S ,语气 ) =info(4,4) -0.5info(4,0) -0. 5info(0,4) 
info(4,0) = -log,l -0 =0 = info(0,4) 
G(S 18%) =1 
因为 G 的 最 大 值 就 是 1， 因 此 ， 根 节点 可 以 选择 属性 为 语气 的 节点 。 
然后 继续 递归 下 去 ， 计 算 剩 下 2 个 属性 的 信息 增益 值 ， 最 终 建立 一 棵 决策 树 如 图 10-18 
所 示 : 











+ 











Al 10-18 决策 树 示意 图 


在 实际 中 ， 因 为 数据 量 庞大 ， 决 策 树 空间 并 非 如 此 简单 。 节 点 的 选取 原则 是 : 由 根 到 叶 
子 ， 每 一 个 节点 都 是 选取 信息 增益 最 大 的 属性 作为 节点 。 

4. 仿真 

在 Matlab 中 进行 仿真 ， 假 设 有 125 组 数据 (事实 上 远大 于 这 个 数字 ) ， 分 别 从 悲伤 、 喜 
悦 、 人 愤怒 、 人 惊奇 、 慌 惧 五 种 情绪 得 来 ， 其 中 每 种 情绪 的 数据 范围 是 限定 的 。 训 练 数据 为 125 
组 ， 测 试 数据 为 100 组 ， 最 终 得 到 的 决策 树 如 图 10-19 所 示 。 图 10-20 所 示 为 前 25 组 数据 
进行 决策 树 分 类 后 的 结 

虽然 可 以 看 出 数据 都 得 到 了 完整 的 分 类 ， 但 是 这 种 仿真 存在 几 个 问题 : 首先 数据 是 
自己 创造 的 没有 理论 根据 。 而 且 对 于 一 种 情绪 来 讲 ， 数 据 可 以 通过 视觉 、 听 觉 、 触 觉 来 
得 到 ， 其 具体 的 情感 数据 分 类 要 通过 大 量 的 实验 才能 得 到 准确 值 。 其 次 ，Matlab 中 的 决策 
树 函 数 是 二 叉 树 ， 也 就 是 不 能 有 多 叉 分 支 ， 这 在 实际 中 是 受 限制 的 ， 不 过 可 以 通过 编程 
实现 多 又 树 。 

5. BA 

决策 树 学 习 也 有 其 不 足 之 处 ， 比 如 对 连续 性 的 字段 比较 难 预测 ; 当 类 别 太 多 时 ， 错 
误 可 能 会 增加 得 比较 快 ; 一 般 算 法 分 类 的 时 候 ， 只 是 根据 一 个 属性 来 分 类 ; 不 能 保证 全 
局 最 优 。 但 是 机 器 学 习 中 有 神经 网 络 、 贝 叶 斯 学 习 等 等 很 多 更 加 优秀 的 学 习 算 法 ， 都 可 
以 针对 某 一 种 问题 提出 解决 方案 ， 因 此 将 机 器 学 习 应 用 到 机 器 人 的 情感 建 模 中 是 以 后 的 
研究 重点 之 一 。 
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Regression tree viewer 


eek Tools Desktop Tree Window Help 


Click to display: Identity = Magnification: |100% = Pruning level: 








图 10-19 ”决策 树 仿真 结果 
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图 10-20 25 组 测试 数据 进行 分 类 的 结果 
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10-1 简 述 目前 较为 成 熟 的 几 种 情感 建 模 方法 。 
10-2 OCC 模型 的 建立 过 程 是 什么 ? 

10-3 Oe ea i tn Ue ae 
10-4 机 需 学 习 的 各 种 学 习 算 法 中 ， 总 结 哪些 些 
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10-5 ”举例 构造 一 棵 决策 树 ， A P 共振 峰 ， BANE, 情感 状态 为 高 兴 、 翡 伤 、 惊 
愤怒 。 
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ASHE EBA = Sabor SP ae is RD Ltt AA SE, FCI AEG SAR BE Soh 
能 家 居 系 统 ， 该 系统 可 以 将 整个 智能 数字 家 居 系 统 的 功能 综合 起 来 ， 用 户 可 以 方便 地 控制 家 
庭 中 各 个 电器 设备 。 尤 其 适合 无 人 环境 ， 家 中 有 老人 或 小 孩 ， 以 及 家 中 有 残疾 人 的 家 庭 。 第 
二 部 分 介绍 了 虚拟 管家 的 设计 ， 该 设计 可 以 在 虚拟 环境 下 实现 智能 人 机 交互 ， 除 了 管理 家 居 
生活 之 外 ， 还 可 以 扩展 到 虚拟 中 医 等 场景 。 其 特殊 的 老 太 太 形象 增加 了 用 户 体验 的 亲切 感 ， 
具有 情感 的 对 话 内 容 也 使 得 交谈 过 程 更 加 拟人 化 。 最 后 一 部 分 介绍 了 物理 机 器 人 ， 具 有 情感 
模型 的 表情 头 设计 ， 可 以 表现 出 多 种 富有 情感 的 表情 ， 这 使 得 在 人 机 交互 中 更 为 和 谐 。 


11.1 智能 家 居 系 统 

















11.1.1 智能 家 居 的 设计 青 景 


智能 家 电 控 制 系统 作为 数字 家 庭 实 验 室 联网 系统 (digital home lab) 的 一 个 控制 设备 ， 
主要 任务 是 提供 良好 的 人 机 交互 平台 ， 将 整个 智能 数字 家 居 系 统 的 功能 加 以 综合 ， 以 更 加 友 
好 的 智能 方式 向 用 户 提供 服务 。 使 用 智能 家 电 系 统 ， 用 户 可 以 在 家 庭 环 境 中 方便 地 控制 各 种 
电器 设备 ， 实 现 设备 的 互通 互联 。 

图 11-1 所 示 为 智能 管家 系统 与 整个 家 居 环 境 的 物理 关系 。 可 以 看 出 ， 此 系统 运行 在 
BASE PC 上 ， 通 过 触摸 屏幕 与 人 进行 交互 。 系 统 的 启动 界面 如 几 11-2 所 示 。 
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图 11-2 智能 家 电 管 理 系统 示意 图 














11.1.2 ”智能 家 居 的 整体 设计 


由 图 11-1 所 示 的 功能 结构 可 以 看 出 ， 智 能 家 电 管 理 系 
统 作为 HCI 的 平台 ， 使 用 触摸 屏 与 用 户 交 互 。 由 于 各 个 设备 
在 家 庭 中 分 布 较为 分 散 ， 因 此 通信 平台 必 不 可 少 ， 我 们 使 用 
ZigBee 无 线 网 络 作 为 其 通信 平台 ，ZigBee 技术 是 一 种 短 距 
离 、 低 功 耗 、 低 数据 速率 、 低 成 本 、 低 复杂 度 的 无 线 网 络 技 
术 。 由 于 在 家 庭 环 境 下 ， 通 信 的 距离 相对 较 小 ， 所 以 ZigBee 
网 络 使 用 星 形 网 络 拓扑 结构 。 甚 星 形 网 络 拓扑 结构 示意 图 如 中 心 节点 
图 11-3 所 示 。 图 11-3 ZigBee 网 络 的 星 形 网 络 

家 电 设备 之 间 的 通信 协议 包括 两 个 部 分 ， 应 用 层 协议 和 baa 
底层 传输 协议 。 本 设计 使 用 ZigBee 网 络 ， 底 层 传输 协议 使 用 ZigBee 协议 。 应 用 层 协 议 则 使 
用 通用 智能 控制 协议 (GICP) 和 信息 设备 资源 共享 协同 服务 协议 (IGRS)。 


11.1.3 智能 家 居 的 工作 过 程 


打开 家 电 智 能 管理 系统 应 用 程序 后 ， 将 呈现 如 图 11-4 所 示 的 画面 。 在 界面 中 有 网 络 信 
息 、 场 景 模式 、 智 能 环境 监控 、 串 口 配置 、 串 口 监视 等 几 项 功能 。 用 户 可 以 通过 点 击 “ 登 
录 设 置 ”来 设 定 软件 登录 时 的 密码 。 

首先 ， 需 要 设置 软件 与 下 位 机 通信 的 串口 号 。 切 换 到 串口 配置 标签 页 ， 如 图 11-5 所 示 ， 
在 此 标签 页 里 ， 用 户 可 以 设置 通信 串口 的 串口 号 、 波 特 率 、 奇 偶 校 验 、 数 据 位 和 停止 位 。 

智能 家 电 管 理 系统 在 使 用 前 需要 将 设备 加 入 到 网 络 列表 中 ， 即 为 设备 分 配 网 络 地 址 。 切 
换 到 “网 络 信息 ”标签 页 后 ， 点 击 “ 开 始 配置 设备 ID” 按钮， 系统 会 自动 发 送 网 络 配置 信 
息 ， 收 到 此 消息 后 ,设备 会 向 系统 发 送 相 应 配置 消息 ， 该 消息 中 带 有 八 位 随机 码 ， 以 区 别 于 
其 他 设备 。 收 到 设备 发 来 的 相应 配置 消息 后 ， 系 统 会 为 相应 的 设备 发 送 ID 配置 消息 ， 即 为 
该 设备 分 配 网 络 ID。 网 络 设备 退 出 配置 状态 ， 此 后 ， 每 隔 1min 向 系统 发 送 在 线 消 息 ， 以 告 
知 系统 ， 该 设备 处 于 在 线 可 控 状 态 。 整 个 配置 过 程 如 下 : 


星 状 拓扑 
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11-4 家 电 智 能 管理 系统 界面 
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六 通信 设置 




































































图 11-5 设置 串口 配置 




















配置 器 和 设备 处 于 配置 状态 时 ， 可 进行 设备 配置 。 

1) 配置 器 、 设 备 通 过 相关 操作 ， 进 入 配置 状态 。 

2) 配置 器 在 管辖 的 子 网 内 ， 定 时 广播 包含 网 络 ID 的 配置 准备 消息 。 

3) 设备 接收 配置 准备 消息 ， 随 机 生成 8 字 节 的 设备 请 求 标识 数据 ， 发 送 配置 请 求 消息 。 

4) 配置 器 接收 配置 请 求 消 息 ， 分 配 相应 设备 ID ， 发 送 配置 响应 消息 。 

5) 设备 接收 配置 响应 消息 ,检查 配置 响应 消息 是 否 属于 本 设备 (根据 返回 的 设备 请 求 
识别 码 是 否 由 本 设备 提交 的 进行 判断 ) ， 验 证 成 功 后 ， 记 录 网 络 ID 并 获得 设备 ID ， 设 备 配 
置 成 功 ， 退 出 配置 状态 。 如 果 配 置 响应 消息 不 是 给 本 设备 的 ， 或 是 一 直 没 收 到 配置 响应 消 
息 ， 则 再 次 等 待 配置 器 发 送 配 置 准备 消息 ， 重 新 请 求 配置 。 

6) 配置 器 在 配置 状态 下 持续 定时 广播 配置 准备 消息 ， 直 到 通过 相关 操作 退出 配置 状态 。 
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对 于 普通 设备 ， 上 电 lmin 内 每 隔 10s 宣告 一 次 ， 之 后 每 隔 Smin 宣告 一 次 ， 如 果 接 收 到 
设备 查找 消息 ， 且 符合 查找 条 件 ， 则 在 第 ”毫秒 (n 为 小 于 10000 的 随机 数 ) 开始 第 1min 
内 每 隔 10s 宣告 一 次 ， 然 后 每 隔 Smin 宣告 一 次 。 如 果 一 个 设备 在 长 时 间 内 没有 发 送 任何 消 
息 ， 则 其 他 设备 认为 该 设备 离线 。 

图 11-6 模拟 的 空调 设备 ， 在 完成 网 络 配置 后 的 状态 。 
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图 11-6 实现 网 络 配置 后 的 状态 示意 图 


当 系 统 与 设备 完成 网 络 配置 后 ， 系 统 的 界面 上 会 呈现 出 已 上 线 设 备 ， 并 指出 该 设备 的 网 
络 地 址 和 在 线 状态 。 通 过 在 点 击 该 设备 所 在 位 置 ， 会 弹出 对 话 框 ， 指 示 是 否 传输 设备 描述 文 
件 ， 点 击 “ 确 定 ”按钮 后 ， 系 统 会 向 相应 的 设备 发 送 请 求 传输 的 命令 。 系 统 作 为 文件 传输 
的 请 求 端 ， 设 备 作 为 文件 的 持 有 端 。 

文件 传输 由 文件 请 求 端 发 起 请 求 ， 文 件 持 有 端 对 请 求 进行 回应 。 请 求 端 可 根据 实际 情况 启 
动 、 暂 停 或 中 止 传输 。 传 输 可 以 从 文件 头 或 






























































某 个 断 点 开始 。 文 件 请 求 端 可 通过 文件 总 长 eee Saeed ee 
和 已 经 获得 的 文件 数据 来 判断 一 个 文件 是 否 BARTEN 
已 经 传输 完毕 。 如 果 一 个 文件 没有 传输 完毕 ， | einen 
则 请 求 端 可 以 适时 地 请 求 继续 传输 。 一 个 完 。 a 
整 的 文件 传输 过 程 如 图 11-7 所 示 。 系 统 界面 welt SCP Ma 
的 下 方 会 显示 文件 传输 的 进度 。 ae 
设备 描述 文件 一 般 固化 在 设备 中 , 记录 ote panel 
通用 控制 设备 的 基本 信息 、 所 具备 的 功能 、 Ba ESLER Ed 
执行 相关 功能 所 涉及 的 参数 ， 以 及 各 参数 取 wh 
值 定义 ， 描 述 通 用 控制 设备 的 资源 ， 详 细 记 en, oe 
录 设 备 在 互联 网 中 的 表现 形式 ， 以 及 设备 所 si ad 文件 传输 结束 不 在 请求 
能 提供 的 服务 。 
完成 设备 描述 文件 的 传输 后 ， 系 统 会 自 图 11-7 完整 的 文件 传输 示意 图 
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动 对 文件 进行 解析 ， 在 系统 界面 上 会 显示 该 设备 的 名 称 ， 如 图 11-8 所 示 。 
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图 11-8 文件 解析 的 系统 界面 








完成 设备 描述 文件 的 传输 后 ， 用 户 可 以 点 击 该 设备 进行 控制 。 例 如 ， 点 击 “美的 空调 ” 









































后 ， 系 统 会 弹出 如 图 11-9 所 示 对 话 框 。 系 统 会 自动 解析 设备 描述 文件 ， 在 电器 信息 对 话 框 
中 显示 设备 名 称 、 生 产 商 、 产 品 型 号 、 序 列 号 、 生 产 日 期 ， 并 将 电 顺 功能 列 在 与 设备 对 应 的 
功能 对 话 框 中 。 
十 CERES E 
AREE 
Wie SBE P 

E 

E 

FEMS THEW) 

ie ee ©))) GICPR RSE RA 

SP AE: 2006-12-12 请 从 下 拉 列 表 中 选择 一 个 数值 

图 国 




















图 11-9 美的 空调 的 控制 界面 











点 击 相 应 的 功能 ， 系 统 回 想 该 设备 发 送 控 制 命 令 ， 并 会 返回 执行 的 效果 ， 如 果 未 能 得 到 
执行 ， 会 显示 未 成 功 的 原因 ， 如 图 11- 10 所 示 。 





IGRS 智 能 家 电 管 理 系统 [R] 


D 控制 失 败 ， 参 数值 无 效 。 





图 11-10 成 功 与 失败 的 界面 显示 
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为 方便 用 户 对 家 电 的 自动 控制 ， 使 家 电能 按照 用 户 的 意愿 在 某 一 时 刻 自 动 执行 功 
能 ， 系 统 提 供 了 五 种 情景 模式 ， 分 别 为 “起 床 场景 ”， “上班 场 景 ”，“ 回 家 场景 ”， 
“睡觉 场景 ”和 “普通 场景 ”。 用 户 可 自行 设 定 每 种 场景 的 内 容 ， 如 图 11-11 所 示 。 
用 户 通过 系统 亦 可 了 解 到 家 庭 中 的 环境 信息 ， 如 光照 ， 温 度 和 湿度 等 ， 如 图 11-12 
所 示 。 
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11-11 智能 家 居 的 场景 模式 设计 
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图 11-12 智能 家 居 的 职能 环境 监控 模式 











系统 发 送 和 接收 数据 的 情况 可 通过 切换 标签 页 “上 捉 口 监视 ”来 查看 ， 如 图 11-13 


所 示 。 
通过 上 述 各 种 操作 ， 可 以 实现 对 各 个 环境 模式 下 各 房间 的 电器 设备 控制 ， 达 到 绿色 节 


能 、 低 碳 的 和 谐 生 活 目标 。 
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图 11-13 智能 家 居 的 串口 监视 





11.2 ”虚拟 管家 系统 


11.2.1 虚拟 管家 系统 的 开发 背景 


作为 数字 家 庭 的 一 个 重要 终端 一 一 计算 机 自 诞 生 以 来 ， 经 过 半 个 多 世纪 的 发 展 ， 已 应 用 
到 社会 生活 的 各 个 领域 ， 可 以 代替 人 做 大 量 重 复 性 的 工作 ， 且 在 这 方面 的 能 力 ， 有 的 已 远 远 
超过 人 类 。 在 此 背景 下 ， 人 与 计算 机 间 的 通信 一 一 人 机 交互 ， 不 断 受 到 重视 ， 人 机 接口 技术 
得 到 飞速 发 展 ， 人 机 交互 界面 已 从 过 去 的 “人 适应 计算 机 ”发 展 为 “计算 机 适应 人 的 习惯 
和 “以 用 户 为 中 心 ”的 新 阶段 。 同 时 ， 数 字 家 庭 的 提出 与 发 展 ,使 得 人 机 交互 在 家 居 环 境 
中 的 应 用 提升 到 了 一 个 更 高 的 层面 。 在 数字 家 庭 环境 中 ， 我 们 提出 了 “虚拟 管家 ”的 概念 ， 
即 面向 数字 家 庭 的 虚拟 管家 。 

面向 数字 家 庭 的 虚拟 管家 (又 称 智能 管家 ) 系统 作为 数字 家 庭 联网 系统 的 一 个 终端 设 
备 ， 定 位 于 数字 家 庭 系统 中 的 家 庭 层 ， 以 人 或 者 说 是 家 庭 成 员 作为 交互 对 象 。 主 要 的 任务 是 
提供 良好 的 人 机 交互 平台 ， 将 整个 数字 家 庭 环境 中 智能 数字 家 居 系 统 的 功能 加 以 综合 ， 以 更 
加 友好 智能 的 方式 向 家 庭 成 员 提 供 服务 。 换 句 话 说， 就 是 要 以 “虚拟 机 融 管 家 ”的 形式 ， 
结合 人 脸 识 别 、 语 音 交 互 、 有 线 /无 线 网 络 、 视 线 追 踪 、 红 外 遥控 /遥感 等 多 种 技术 来 实现 对 
数字 家 居 设 备 的 管理 、 控 制 ， 以 实现 和 谐 的 人 机 交互 ， 提 高 人 们 在 数字 家 庭 环 境 中 的 生活 舒 
适度 ， 从 而 极 大 地 提升 人 们 的 生活 水 准 和 满意 度 。 


11.2.2 虚拟 管家 系统 的 整体 设计 
根据 软件 工程 中 面向 对 象 的 系统 设计 思想 ， 虚 拟 管家 系统 结构 采用 模块 化 的 方法 ， 将 系 
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统 分 为 面向 用 户 模块 和 后 台 程 序 模块 。 系 统 模块 如 图 11-14 所 示 。 


虚拟 管家 软件 系统 
面向 用 户 模块 后 台 程序 模块 
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图 11-14 虚拟 管家 软件 系统 模块 图 
面向 用 户 模 块 分 为 用 户 界 面 模块 和 交互 手段 模块 两 部 分 ， 主 要 负责 与 用 户 之 间 进 行 交 
互 ， 包 括 提 供 人 机 交互 的 界面 和 手段 ， 而 后 台 程序 模块 主要 针对 数字 家 庭 环境 。 
虚拟 管家 系统 的 各 个 功能 均 采 用 事件 驱动 模式 ， 可 独立 实现 其 模块 功能 ， 且 各 功能 之 间 
没有 相互 依赖 的 关系 ， 所 以 系统 运行 流程 呈现 树 形 结构 ， 系 统 流程 如 图 11-15 所 示 。 
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图 11-15 虚拟 管家 系统 运行 流程 图 
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流程 图 主要 包括 四 个 部 分 初始化、 启动 交互 界面 、 启 动 交互 手段 和 运行 后 台 程 序 
模块 。 

1. 初始 化 

在 初始 化 部 分 ， 主 要 完成 语音 识别 、 视 线 跟踪 、IGRS 网 络 、 串 口 等 的 初始 化 工作 ， 为 
后 续 的 交互 界面 、 交 互 手 段 和 后 台 程 序 的 运行 做 准备 。 

2. 启动 交互 界面 

交互 界面 包括 虚拟 管家 的 形象 和 功能 界面 ， 其 中 管家 形象 既 有 调用 的 MS Agent ÉZ, 
又 有 用 Flash CS 开发 的 Flash 形象， 功能 界面 主要 是 将 虚拟 管家 的 功能 可 视 化 。 

3. 启动 交互 手段 

在 语音 、 视 线 交 互 手段 初始 化 后 ， 现 在 启动 。 用 户 可 以 通过 语音 与 虚拟 管家 进行 对 话 ， 
调用 其 功能 。 视 线 跟 踪 启 动 后 ， 能 实时 检测 到 用 户 视 线 停留 在 屏幕 上 的 位 置 坐 标 ， 并 通过 
socket 模块 发 送 给 Flash 形象 ， 让 她 的 眼睛 也 随 着 坐标 的 变化 看 向 屏幕 的 不 同方 向 ， 模 拟 跟 
踪 用 户 视线 ;同时 ， 当 用 户 在 功能 按钮 上 的 盯 视 超过 5s (时 间 值 可 变 ) ， 系 统 将 响应 按钮 消 
息 ， 执 行 用 户 点 击 按钮 调用 此 功能 。 

4. 运行 后 台 程 序 模块 

程序 的 后 台 运 行 模块 包括 虚拟 管家 按照 用 户 设 定 的 模式 运行 表 ， 自 动 调节 家 电 设备 的 运 
行 状态 ， 还 包括 通过 IGRS 网 络 协议 获取 数字 家 庭 中 温度 、 湿 度 、 烟 雾 浓度 、 燃 气 浓度 、 红 
外 和 门 磁 等 传感器 信息 ， 对 数据 进行 分 析 ， 对 家 电 设备 的 运行 状态 进行 调整 和 对 紧急 情况 进 
行 警报 、 处 理 。 当 用 户 与 虚拟 管家 进行 语音 聊天 对 话 时 ， 语 音 情感 分 析 也 同时 实现 。 


11.2.3 虚拟 管家 系统 功能 模块 说 明 


虚拟 管家 系统 的 功能 模块 包括 身份 识别 模块 、 常 用 功能 模块 、 休 闲 娱乐 功能 模块 和 数字 
家 庭 控制 模块 ， 系 统 模块 拓扑 图 如 图 11-16 ra: 
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图 11-16 虚拟 管家 系统 模块 拓扑 图 


277 


1. 身份 识别 模块 

身份 识别 包括 语音 识别 和 图 像 识别 两 种 识别 方式 ， 经 过 训练 或 注册 后 ， 能 够 通过 语音 或 
人 脸 来 判断 家 庭 成 员 的 身份 。 

2. 常用 功能 模块 

此 模块 包括 事务 提醒 、 理 财 分 析 、 天 气 查询 等 常用 的 功能 。 它 不 仅 能 够 对 数据 库 中 的 重 
要 事务 进行 定时 提醒 ， 对 家 庭 的 收 支 情况 按 天 、 按 月 和 按 年 进行 统计 分 析 ， 并 给 出 合理 的 建 
议 ， 还 能 够 实时 提供 详细 的 天 气 情况 。 

3. 休闲 娱乐 功能 模块 

语音 交互 是 虚拟 管家 的 一 大 特色 ， 此 模块 主要 通过 语音 交互 来 实现 。 用 户 可 以 与 虚拟 管 
家 进行 简单 的 聊天 ， 并 且 虚 拟 管家 可 通过 完全 匹配 问 名 查找 数据 库 和 对 语音 情感 的 分 析 给 出 
答案 ， 同 时 还 做 能 出 相应 的 表情 动作 ; 在 问答 部 分 ， 主 要 针对 家 庭 成 员 中 的 儿童 成 员 进 行 有 
关 《 十 万 个 为 什么 》 的 问 名 文本 分 析 ， 理 解 提问 的 主体 ， 最 后 在 数据 库 中 查找 答案 ， 这 优 
于 聊天 功能 的 问 名 完全 匹配 方式 。 

4. 数字 家 庭 控制 模块 

在 此 模块 中 ， 和 危险 警示 功能 是 根据 由 控制 中 心 通过 IGRS 协议 发 送 的 烟雾 、 煤 气 浓 度 检测 
传感器 实时 检测 数据 ， 进 行 是 否 超标 的 判断 ， 如 果 超 标 ， 虚 拟 管家 会 进行 语音 提醒 、 报 警 ， 并 
发 送 开 窗 指令 等 。 家 电 控 制 功能 主要 是 对 数字 家 庭 环境 中 的 家 用 电 融 ， 如 电视 、 灯 光 和 空调 等 
通过 串口 发 送 指令 进行 手动 控制 ， 或 根据 用 户 按照 时 间 顺 序 设 定 的 运行 模式 表 进 行 自动 控制 ; 
也 可 以 通过 IGRS 协议 将 家 电 运 行 状 态 的 指令 发 送 给 控制 中 心 ， 由 控制 中 心 去 执行 。 

图 11-17 所 示 为 虚拟 管家 系统 的 软件 平台 ， 用 鼠标 点 击 对 应 的 文字 框 ， 就 可 以 进行 相应 
的 控制 。 其 具体 的 控制 操作 示意 图 可 以 参见 本 书 第 6 章 的 详细 内 容 。 
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图 11-17 虚拟 管家 系统 的 软件 平台 
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11.3 ”服务 机 器 人 


11.3.1 服务 机 器 人 的 开发 背景 


家 庭 服务 机 器 人 是 机 器 人 的 发 展 方向 ， 是 我 国 进一步 加 强 机 器 人 技术 人 研究 的 突破 口 ， 是 
我 国 “十 一 五 ”期 间 机 器 人 技术 发 展 的 重点 。 

个 人 电脑 普及 革命 的 领军 人 物 比 尔 . 盖 茨 预言 ， 机 器 人 即将 重复 个 人 电脑 崛起 的 道路 ， 
“未 来 家 家 都 有 机 器 人 ”。 点 燃 机 器 人 普及 的 “ 导 火 索 ”， 这 场 革 命 必 将 与 个 人 电脑 一 样 ， 彻 
底 改 变 这 个 时 代 的 生活 方式 。 韩 国 科学 家 预测 ， 到 2015 年 ， 每 个 家 庭 将 至 少 拥有 一 个 机 器 
人 。 在 2008 年 中 国 科 协 举 办 的 “五 个 10” 系 列 评选 活动 中 , “未 来 家 庭 机 器 人 ”入 选 “10 
项 引领 未 来 的 科学 技术 ”， 这 表明 家 用 机 器 人 技术 所 具有 的 前 沿 学 科 性 与 重要 实用 意义 。 

这 些 家 用 机 器 人 的 功能 高 度 专业 化 ， 作 为 计算 技术 的 一 个 延伸 ， 能 够 提供 语音 交互 、 数 
据 传输 、 多 媒体 服务 、 家 电 控 制 和 管理 等 功能 ， 也 是 智能 网 络 家 电 中 的 一 个 重要 的 组 成 部 
分 。 这 些 装置 的 价格 不 断 降低 ， 逐 步 达 到 普通 消费 者 能 够 承受 的 水 平 ， 机 器 人 极 有 可 能 使 人 
类 社会 生活 的 方方面面 一 一 包括 工作 、 交 流 、 学 习 及 娱乐 等 发 生 重大 变革 ， 影 响 之 深远 丝毫 
不 逊 于 过 去 30 年 间 个 人 电脑 给 我 们 带 来 的 变化 。 

随 着 智能 机 器 人 技术 的 迅速 发 展 ， 智 能 机 器 人 的 应 用 领域 正在 不 断 扩 大 ， 已 经 逐步 进入 
了 家 庭 服务 行业 ， 由 智能 型 家 庭 服务 机 器 人 代替 人 来 完成 清洁 卫生 、 物 品 搬运 、 家 电 控 制 、 
家 庭 娱 乐 、 病 况 监 视 、 儿 童 教育 、 报 时 催 醒 、 电 话 接听 等 各 种 家 务 劳 动 ,， 这 种 服务 机 器 人 
是 一 种 能 够 自主 或 者 半 自 主 地 提供 服务 而 不 是 提供 生产 的 机 器 人 ， 它 的 使 用 能 够 提高 人 们 的 
生活 质量 。 

同时 ， 世 界 各 国 的 老龄 化 问题 进一步 加 剧 了 对 智能 型 家 庭 服务 机 器 人 的 需求 。 如 ， 加 拿 
大 65 岁 以 上 老人 达 380 HA; 德国 60 岁 以 上 的 老人 超过 8200 万 人 ， 分 别 占 该 国人 口 的 
12.43 % #22 %, 而且 ， 近 年 来 还 有 增长 趋势 。 专 家 预言 ， 到 2010 年 ， 中 国 独生子 女 和 老 
龄 化 问题 将 更 加 严重 。 因 此 ， 家 庭 服 务 机 器 人 将 在 许多 以 老 、 弱 、 病 、 残 、 独 生子 女 为 主 的 
家 庭 中 有 很 好 的 应 用 前 景 。 

此 外 ， 以 防盗 监测 和 电 及 煤气 安全 检查 为 主要 内 容 的 家 居 智 能 安防 系统 在 我 国 发 展 迅 
速 。 近 几 年 的 增长 速度 达到 15% ~20% 。 因 此 ， 将 家 庭 服 务 机 器 人 与 家 居 智 能 安防 系统 结 
合 在 一 起 ， 可 以 更 有 效 地 完成 家 庭 服 务 和 家 居 安 防 工作 。 

因此 ， 服 务 机 器 人 主要 应 用 于 家 务 劳动 、 娱 乐 教 育 、 老 年 人 及 残疾 人 康复 、 护 理 、 安 防 
等 社会 服务 领域 ， 对 于 缓解 全 球 老 龄 化 所 带 来 的 服务 行业 劳动 力荐 乏 等 社会 问题 具有 重大 


11. 3.2 服务 机 器 人 的 整体 设计 


基于 情感 计算 、 认 知 理论 ， 具 有 多 通道 、 多 模 态 人 机 交互 与 合作 能 力 的 物理 型 服务 机 器 
人 系统 ， 其 信息 流 图 如 图 11-18 所 示 。 

将 服务 机 器 人 系统 划分 为 七 个 层次 ， 物理 层 、 驱 动 层 、 信 息 处 理 层 、 行 为 规划 层 、 传 输 
层 、 应 用 层 和 系统 监控 层 。 
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DEVE: 这 一 层 作为 交互 逻辑 的 最 底层 ， 直 接 机 器 人 整体 设计 图 

与 环境 、 交 互 者 和 网 络 中 的 其 他 在 线 设备 发 生 联 

系 。 它 包括 物理 型 服务 机 右 人 的 各 种 硬件 传 感 妖 、 

网 络 接口 和 有 信息 采集 及 人 处理 功能 的 软件 agent, D | m 

P 此 层 还 包括 能 机 、 步 进 电 || ee es ee 
驱动 层 ， 驱动 层 位 于 软件 系统 和 物理 硬件 层 之 yl Ly 

间 ， 完 成 服务 机 器 人 软件 对 硬件 设备 的 驱动 。 通 过 

对 传 感 右 采集 信号 的 变换 ， 转 换 成 软件 能 够 处 理 的 

信息 。 实 现 软件 到 硬件 命令 协议 的 转换 ， 完 成 上 位 ome (en) aca ) 

机 软件 平台 对 物理 层 硬件 设备 的 控制 。 

言 息 处 理 层 : 传感器 信息 经 过 驱动 层 的 转换 
后 ， 在 此 层 得 到 后 期 处 理 。 通 过 细 粒 度 模 式 识别 ， 图 11-18 ”服务 机 器 人 系统 信息 流 图 
感知 用 户 和 环境 的 详细 信息 。 粗 粒度 模式 识别 可 以 
实现 用 户 目的 、 意 图 等 综合 信息 的 判别 。 情 感 信息 识别 则 可 以 从 多 种 传 感 信息 中 获取 用 户 的 
情感 。 此 后 ， 对 交互 信息 和 环境 信息 进行 融合 ， 去 除 其 中 包含 的 噪声 和 元 余 信息 ， 得 到 推理 
系统 可 以 处 理 的 标准 信息 格式 。 最 后 ， 利 用 机 需 学 习 、 决 策 树 或 其 他 算法 ， 实 现 推 理 系统 对 
多 种 信息 的 综合 推理 。 

在 细 粒 度 模式 识别 中 ， 各 识别 模块 功能 可 以 分 散在 人 硬件 上 实现 。 从 人 类 自身 处 理 信息 的 
流程 来 分 析 ， 会 发 现在 完成 多 通道 传 感 信息 识别 时 ， 实 现 的 功能 基本 上 不 需要 人 类 太 多 的 逻 
辑 思维 ， 由 于 人 类 频繁 地 使 用 ， 这 些 能 力 已 经 接近 于 人 类 的 本 能 ， 比 如 当 听 一 个 人 说 话 时 ， 
将 听 到 的 声音 信号 转化 为 能 理解 的 语音 信号 的 过 程 ， 可 以 说 基本 没有 运用 大 脑 的 逻辑 分 析 功 
能 。 由 于 拟 开发 的 服务 机 器 人 最 重要 的 特点 是 交互 的 实时 性 ， 所 以 需要 将 信息 的 处 理 过 程 尽 
可 能 分 散 ， 以 减轻 智能 决策 层 处 理 信 息 的 压力 ， 提 高 处 理 速度 。 

推理 系统 模拟 人 类 大 脑 的 逻辑 推理 和 智能 决策 能 力 ， 同 时 受到 情感 产生 系统 和 需求 模型 
的 影响 。 一 个 决策 的 生成 ， 不 但 与 我 们 获得 的 信息 及 掌握 的 知识 有 关 ， 还 与 我 们 当时 的 心理 
状态 以 及 要 达到 的 交互 目标 有 关系 。 基 于 确定 性 或 不 确定 性 推理 理论 以 及 智能 决策 算法 ， 实 
现 从 标准 的 交互 输入 信息 到 行为 输出 信息 之 间 的 映射 。 

行为 规划 层 : 除了 根据 外 界 输入 信息 做 出 相应 的 反射 行为 外 ， 还 要 根据 应 用 层 中 用 户 的 
设计 行为 ,综合 知识 库 、 行 为 库 规划 下 一 步 服 务 机 器 人 的 行为 。 

反射 行为 的 产生 需要 一 个 本 能 反射 规则 库 支持 。 规 则 库 包 含 一 些 基 本 的 “感应 -行动 ” 
规则， 这 些 规则 应 该 是 “一 对 一 ”的 形式 ,不 允许 有 复合 推理 的 形式 出 现 。 人 体 神经 系统 
的 调节 方式 是 反射 ,天生 具 有 的 反射 叫 简单 反射 又 称 为 非 条 件 反 射 ， 例 如 ， 缩 手 反 射 、 皮 
眼 反射 等 都 属于 简单 反射 ， 这 是 一 种 比较 低级 的 动作 调节 方式 。 此 过 程 不 需要 经 过 大 脑 皮 
层 ， 只 要 有 兰 髓 或 脑 干 的 神经 中 枢 参 与 就 可 以 完成 ， 因 此 这 种 动作 中 没有 逻辑 成 分 。 人 类 还 
有 一 种 动作 叫做 无 意识 动作 ， 比 如 ， 当 一 个 人 无 聊 时 会 做 一 些 拌 脚 ， 搓 手 ， 玩 头发 等 小 动 
作 ， 这 些 动作 是 没有 经 过 大 脑 逻 辑 思维 就 可 完成 的 ， 我 们 将 服务 机 句 人 的 无 意识 动作 也 在 此 
考虑 。 服 务 机 器 人 接收 各 种 传 感 智能 体 经 过 初步 处 理 的 较 原 始 的 交互 信息 ， 此 信息 流 可 能 会 
有 宛 余 或 冲突 性 质 的 信息 体 存 在 。 简 单反 射 的 主要 目标 是 机 器 人 具有 时 效 地 完成 简单 反射 动 
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作 ， 因 此 ， 在 制定 简单 反射 规则 时 ， 可 以 利用 优先 级 规则 来 对 各 种 交互 信息 体 进行 融合 ， 以 
便 决定 当前 要 执行 的 交互 动作 。 

传输 层 : 此 层 包 括 多 种 模型 如， 关注 模型 、 情 感 产 生 系 统 、 需 求 模 型 以 及 学 习 模 型 
等 。 在 获取 用 户 注意 力 信息 的 基础 上 ， 关 注 模型 能 够 计算 出 用 户 关注 焦点 ， 进 而 可 以 使 机 器 
人 本 身 与 用 户 保持 对 同一 事物 的 关注 。 基 于 情感 模型 ， 服 务 机 器 人 的 情感 产生 系统 可 以 产生 
自身 的 情感 。 同 时 ， 以 马 斯 洛 的 需求 层次 理论 为 基础 ， 建 立 需 求 模型 ， 以 反映 服务 机 带 人 自 
身 的 需求 。 结 合 情 感 模型 与 关注 模型 的 输出 ， 进 而 影响 到 机 器 人 的 输出 行为 。 学 习 模 型 则 不 
断 地 获取 机 器 人 自身 的 输出 行为 ， 以 及 用 户 信 息 、 环 境 信 息 的 输入 ， 学 习 其 中 的 映射 关系 ， 
来 不 断 调整 知识 库 和 行为 库 ， 使 服务 机 器 人 表现 出 动态 的 学 习 能 力 。 

应 用 层 : 开放 给 研究 者 。 他 们 可 以 利用 开放 的 接口 在 这 个 层面 上 进行 多 方面 的 研究 。 在 
这 一 层 ， 我 们 现在 主要 进行 机 器 人 的 情感 模型 和 服务 交互 与 合作 的 研究 ， 建 立 机 器 人 的 服务 
模式 ， 并 进行 仿真 与 调试 。 

系统 监控 层 : 目前 ， 服务 机 器 人 还 不 能 完全 自主 ， 因 此 ， 用 户 对 系统 整体 的 运行 情况 进 
行 监控 是 必要 的 。 该 层 不 参与 具体 的 任务 和 行为 规划 。 除 了 为 用 户 提供 服务 机 器 人 运行 状态 
的 信息 外 ， 当 系统 发 生 不 可 预见 的 困难 情况 时 ， 由 系统 监控 层 通知 用 户 处 理 这 种 异常 、 冲 突 
和 和 死 锁 。 用 户 能 够 改变 任务 的 执行 状态 〈 持 起、 终止 或 执行 ) 或 改变 机 器 人 的 运行 模式 等 。 
在 某 些 情况 下 用 户 还 可 以 通过 监控 层 直接 控制 机 器 人 来 完成 期 望 的 任务 。 此 外 ， 机 器 人 还 可 
以 利用 运行 环境 和 状态 信息 ， 以 不 得 伤害 人 和 保护 自身 的 安全 为 目的 ， 在 一 定 程度 上 实现 模 
块 的 自 组 织 和 自 诊 断 功能 。 


11.3.3 ”服务 机 器 人 的 功能 模块 说 明 


开发 的 物理 型 服务 机 器 人 包括 : 表情 机 器 人 以 及 仿 人 机 器 人 。 如 图 11-19 所 示 。 下 面 介 
绍 一 下 各 个 模块 的 主要 功能 。 























图 11-19 物理 型 服务 机 器 人 
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1. 语音 交互 模块 

语音 交互 技术 包括 语音 识别 和 语音 合成 两 方面 ， 语 音 识别 是 通过 软件 提取 用 户 的 语音 信 
息 ， 并 将 之 转化 为 软件 可 识别 的 二 进 制 机 咒语 言 。 目 前 设计 中 使 用 的 是 Pattek ASR 提供 的 识 
别 引 擎 和 科大 讯 飞 的 XF- S4240。 语 音 合成 使 软件 向 用 户 反馈 的 字符 信息 通过 TTS (Text To 
Speech) 转化 为 用 户 可 以 听 懂 的 语音 信息 。 语 音 识别 和 语音 合成 都 在 语音 交互 模块 中 实现 。 

2. 机 器 视觉 模块 

对 由 视觉 传感器 得 来 的 数字 图 像 按 一 定 的 算法 进行 处 理 ， 使 计算 机 能 理解 图 像 的 意义 。 
对 于 服务 机 器 人 而 言 来 说 ， 就 是 需要 使 其 能 把 人 和 其 他 景物 区 分 开 来 ， 能 识别 人 脸 和 表情 。 
人 脸 自动 识别 系统 包括 两 个 主要 技术 环节 ， 具 体 的 实现 过 程 包括 以 下 两 个 主要 部 分 : 1) 人 
脸 检测 与 定位 ; 2) 特征 提取 与 人 脸 识 别 。 

3. ALM RRR 

在 情绪 心理 学 理论 的 基础 之 上 ， 定 义 描 述 情感 的 数学 空间 ， 在 此 空间 里 ， 采 用 数学 理论 
方法 ， 构 造 适 于 机 器 实现 的 情感 计算 理论 方法 ， 使 之 能 够 模拟 人 类 的 情感 产生 、 变 化 、 转 
移 ， 并 使 之 符合 人 类 情感 变化 的 规律 ， 满 足 家 庭 环 境 里 人 类 情感 的 需求 。 目 前 采用 的 是 
Markov Chain & HMM 情感 引擎 。 

4. 传感器 模块 

通过 普通 摄像 头 、 三 维 摄像 头 、 红 外 传感器 、 超 声 传 感 器 、 传 声 器 等 多 个 模块 感知 
外 部 环境 信息 。 普 通 摄像 头 采 集 到 用 户 图 像 ， 通 过 上 位 机 处 理 后 具有 人 脸 识 别 的 功能 。 
三 维 摄像 涉 采 集 用 户 人 有 眼 信息 ， 为 获得 用 户 注 意 力 做 准备 。 传 声 器 将 语音 传递 给 上 位 机 ， 
上 位 机 对 语音 信号 进行 语音 的 情感 特征 提取 和 语义 分 析 ， 得 到 输入 语音 的 情感 和 语义 。 
红外 和 超声 传感器 具有 感应 机 器 人 周围 是 否 有 障碍 或 者 是 否 有 人 员 靠 近 的 功能 ， 将 探测 
到 的 信号 传输 给 下 位 机 系统 ， 下 位 机 系统 经 过 人 处理 后 通过 RS232 传递 给 上 位 机 系统 。 上 位 
机 系统 将 图 像 信 息 、 语 音信 息 和 下 位 机 信息 进行 综合 处 理 ， 得 到 与 机 器 人 交互 的 人 的 信息 或 
者 机 器 人 的 外 部 环境 信息 ， 然 后 通过 机 器 人 的 情感 输出 模块 向 下 位 机 系统 和 语音 合成 模块 发 
送 指令 。 下 位 机 系统 通过 PWM 控制 电动 机 运动 产生 身体 语音 和 面部 表情 。 上 位 机 经 过 语音 
合成 后 通过 音响 向 人 类 表达 机 器 人 的 语言 。 情 感 机 器 人 的 语音 ， 身 体 语言 和 表情 三 者 共同 构 
成 了 情感 机 器 人 的 情感 表达 。 人 类 可 以 通过 上 位 机 系统 的 调试 界面 对 机 器 人 的 各 个 功能 模块 
进行 调试 。 

5. 控制 与 执行 机 构 模 块 

拟 选择 体积 小 、 重 量 轻 、 非 常 经 济 实用 的 舵 机 作为 物理 型 服务 机 器 人 平台 使 用 的 主 
要 电机 元 件 。 准 备 选 用 了 两 种 型 号 的 舵 机 ，HG14-M 和 GWS MICRO 2BBMG。 整 个 电 控 系 
统 采用 了 上 、 下 位 机 结构 ， 上 位 机 采用 PC， 主 要 优点 是 速度 快 ， 各 种 外 部 接口 设备 多 ， 
存储 空间 大 。 上 位 机 主要 负责 运算 量 大 、 计 算 复 杂 的 图 像 处 理 、 语 音 识 别 和 语音 合成 工 
作 。 下 位 机 采用 性 价 比 高 的 PIC16F877 单片机 ， 上 位 机 和 下 位 机 通过 RS-232 串口 或 者 无 
线 模块 进行 连接 通信 。 下 位 机 主要 负责 传感器 信息 接收 、 信 息 初级 处 理 、 电 机 了 驱动 和 运 
动 控制 等 工作 。 

6. 网 络 功能 模块 

该 模块 负责 初始 化 物理 性 服务 机 器 人 的 网 络 连接 和 智能 家 居 网 络 中 的 其 他 设备 通信 。 
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E 5 题 


11-1 智能 家 电 控 制 系统 采用 什么 无 线 平 台 作 为 通信 工具 ?” 其 特点 是 什么 ? 
11-2 虚拟 管家 的 应 用 背景 是 什么 ? 
11-3. 书 中 所 涉及 的 物理 机 器 人 大 致 有 几 个 模块 构成 ? 
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